Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Рефакторинг, оптимизация и переписывание нового кода #310

Closed
Mazdaywik opened this issue Jul 4, 2020 · 1 comment · Fixed by #328
Closed

Рефакторинг, оптимизация и переписывание нового кода #310

Mazdaywik opened this issue Jul 4, 2020 · 1 comment · Fixed by #328
Assignees
@Mazdaywik
Labels
task

Comments

@Mazdaywik
Copy link
Member

В рамках задач #252 (@Kaelena), #253 (@koshelevandrey), #260 (@Cstyler), #256 и #273 (@nexterot) в компилятор было внесено много нового кода, в общей сложности около 6000 строк. Бо́льшую часть этого кода я внимательно не изучал. Поверхностный взгляд выявил в нём неоптимальности и отступления от принятого стиля кодирования.

Поэтому в рамках данной задачи нужно будет проинспектировать новый код и выполнить рефакторинг, оптимизацию, и, если надо, переписывание:

  • Рефакторинг будет сводиться к стилевым правкам, прояснениям имён функций и переменных, использованием более идиоматичного кода вместо менее идиоматичного. Он не меняет поведение программы и сводится лишь к улучшению её структуры. Кроме того, в процессе работы местами был выявлен старый кривой код, рефакторинг которого мы отложили на потом (см. Интринсики для встроенных функций #260 (comment), около смайлика «🤦‍♂️»).
  • Оптимизация будет сводиться к поиску узких мест в новом (а может быть, и в старом) коде и их ускорению. В принципе, оптимизация уже была выполнена там, где это было критично для прохождения тестов (Проблемы, замеченные на случайных тестах #305). Оптимизация должна, как и рефакторинг, сохранять поведение компилятора.
  • Переписывание кода будет выполняться там, где ускорить его посредством оптимизации нельзя, а также нельзя улучшить структуру рефакторингом, то есть с сохранением имеющегося поведения. Жалко будет выкидывать имеющиеся наработки, но придётся.
@Mazdaywik Mazdaywik added the task label Jul 4, 2020
@Mazdaywik Mazdaywik self-assigned this Jul 4, 2020
@Mazdaywik Mazdaywik mentioned this issue Jul 4, 2020
Open
Mazdaywik added a commit that referenced this issue Jul 4, 2020
@Mazdaywik
Стилевые правки в OptTree-AutoMarkup-SpecializableExtractor.ref (#310)
484bbf4 
Осторожные стилевые правки:
• оформление кода — отступы, переносы на другую строку,
• внутри Map: e.Other → t.Other,
• функция с двумя форматами разбита на две.
Mazdaywik added a commit that referenced this issue Jul 4, 2020
@Mazdaywik
FIXED: недостающие ADT-Brackets в разметке для $SPEC (#310)
ba617dc
Mazdaywik added a commit that referenced this issue Jul 4, 2020
@Mazdaywik
Удалено экранирующее предложение (#310)
4e7d67c 
При компиляции с -Wall получаем следующее сообщение:

OptTree-AutoMarkup-SpecializableExtractor.ref:246:1:
  WARNING: Function `GetVariablesTypes':
  sentence $5 screens sentence $6 [-Wscreening]

(переносы строк добавлены для читабельности)

На самом деле, я проблему заметил, когда делал стилевые правки. Просто
мне хотелось запустить с -Wall и увидеть предупреждение.
Mazdaywik added a commit that referenced this issue Jul 5, 2020
@Mazdaywik
Переписана функция GetClearedByEntryPointsGraph (#305, #310)
2164123 
Мне не хотелось переписывать код целиком, хотелось сохранить структуру
оригинальных алгоритмов. Но пришлось. Исходная реализация была громоздкой
и трудной для оптимизации. Написал более компактную, быструю и лаконичную.
Mazdaywik added a commit that referenced this issue Jul 5, 2020
@Mazdaywik
FIXED: Переписана функция GetClearedByEntryPointsGraph (#305, #310)
058d889
Mazdaywik added a commit that referenced this issue Jul 13, 2020
@Mazdaywik
Рефакторинг специализатора: ненужное поле e.Histories (#310)
e3b9c2c
Mazdaywik added a commit that referenced this issue Jul 13, 2020
@Mazdaywik
Стилевая правка: поправлен отступ (#310)
b571d5f
Mazdaywik added a commit that referenced this issue Jul 14, 2020
@Mazdaywik
Рефакторинг: уточнения имён переменных (#310)
391ff02
Mazdaywik added a commit that referenced this issue Jul 14, 2020
@Mazdaywik
Рефакторинг разметки шаблонов специализации (#310)
048d212 
• Прояснение форматов функций (в частности, удалены избыточные форматные
  скобки).
• Удаление недостижимых предложений.
• Уточнена структура алгоритма для последующих исправлений ошибок.
• Переименованы некоторые функции и поправлено форматирование кода.
Mazdaywik added a commit that referenced this issue Jul 14, 2020
@Mazdaywik
FIXED: неправильно строился шаблон специализации (#252, #310, #317)
0e3bafd 
Вместо шаблона специализации по ошибке строился список переменных
из обобщения, переменным давались индексы .STAT#n и .dyn#n.
Из-за того, что ранее индексы формировались неправильно (38523f9),
специализация не выполнялась — вызов считался с тривиальной сигнатурой
и ошибка не воспроизводилась.
Mazdaywik added a commit that referenced this issue Jul 14, 2020
@Mazdaywik
Переписана авторазметка статических параметров в шаблоне (#252, #310)
da1ca09 
При запуске автотестов выяснилось, что функции GetVariableMatches
и GetVariablesSpecType неправильно помечают переменные из образца
статическими.

Эти две функции были полностью переписаны с нуля. Для прояснения диффа
коммита вспомогательные функции, которые вызывались из первоначальных
версий, удалены не были, они будут удалены следующим коммитом.

Теперь всё работает.
Mazdaywik added a commit that referenced this issue Jul 14, 2020
@Mazdaywik
Рефакторинг: удалены неиспользуемые функции (#252, #310)
9be8145
Mazdaywik added a commit that referenced this issue Jul 15, 2020
@Mazdaywik
Рефакторинг: удаление ненужных внешних ссылок (#310)
c8ed9d0
Mazdaywik added a commit that referenced this issue Jul 15, 2020
@Mazdaywik
Стилевые правки в комментариях: табуляции → пробелы, t-типы (#310)
6def816
Mazdaywik added a commit that referenced this issue Jul 15, 2020
@Mazdaywik
Небольшой рефакторинг разметки статических параметров (#310)
03174fd
Mazdaywik added a commit that referenced this issue Jul 18, 2020
@Mazdaywik
Поверхностный рефакторинг специализатора (#310, #319)
21d12cc 
• Уточнён тип переменной-флага e.NeedRelationCheck → s.NeedRelationCheck.
• Мелкие стилевые исправления.
@Mazdaywik Mazdaywik mentioned this issue Jul 18, 2020
Closed
Mazdaywik added a commit that referenced this issue Jul 20, 2020
@Mazdaywik
Рефакторинг: обобщение имени функции (#310, #320)
0326f05
Mazdaywik added a commit that referenced this issue Jul 22, 2020
@Mazdaywik
Поверхностные стилевые правки в OptTree-Drive.ref (#310)
d8228bd 
• Оформление кода.
• Длинные строки.

На самом деле там нужно много чего переделывать. Здесь я поправил участок
кода, с которым нужно работать в рамках #320 и длинные строки, чтобы
не появлялась горизонтальная прокрутка.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
Мелкие рефакторинги в OptTree-AutoMarkup-GraphExtractor.ref (#310)
60b4ab9 
• Переименование функции,
• уточнение типов переменных,
• прочая мелочь.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
FIXED: не сбрасывалась пометка (Inline …) для базисных вершин (#310)
0a5db2a 
И это приводило к зацикливанию, которое демонстрирует автотест.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
Авторазметка: новый алгоритм построения графа (#325, #310)
dc6d3ba 
Написан новый алгоритм построения графа вызовов функций. В нём исправлены
следующие проблемы:

• Восстановлена вставка ссылок на функции вместо указателей на метатаблицы.
• Учитывается, что метафункции могут осуществлять косвенный вызов.
• Функции, осуществляющие косвенный вызов, вызывают все функции, на которые
  берутся указатели.

При этом для прояснения коммита весь старый код в файле присутствует. Старый
код будет удалён в следующем коммите.

Ссылка на заявку #310 означает, что немалая часть кода была переписана.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
Рефакторинг: удалён неактуальный код (#325, #310)
ff6cd0a 
Удалён код, ставший неактуальным после предыдушего коммита.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
Revert "FIXED: не сбрасывалась пометка (Inline …) для базисных вершин (…
6efef02 
…#310)"

This reverts commit 0a5db2a.

Коммит отменяется, т.к. функции, помеченные $INLINE, по определению
рекурсивные. Если бы было бы иначе, их можно было бы пометить $DRIVE.

А то, что пометка приводит к зацикливанию — значит, пометка неправильная.
В отличие от $DRIVE с -OA и $SPEC, пометка $INCLUDE по-прежнему опасная.

Коммит я не стал удалять из истории, а вместо этого его реверсировал
для того, чтобы оставить этот поучительный комментарий.
Mazdaywik added a commit that referenced this issue Oct 23, 2020
@Mazdaywik
Переименован автотест opt-tree-markup5-basic-indirect.ref (#325, #310)
c203d26
Mazdaywik added a commit that referenced this issue Oct 25, 2020
@Mazdaywik
Рефакторинг: уточнено имя файла OptTree-AutoMarkup-Drive.ref (#310, #325
f6e76aa 
)

В дальнейшем в этом файле будет аккумулирована вся логика расстановки меток
$DRIVE: вставка недостающих, удаление избыточных.
Mazdaywik added a commit that referenced this issue Oct 25, 2020
@Mazdaywik
Рефакторинг: логика установки меток Drive перенесена в один файл (#310)
5a676a5 
Также сами перенесённые функции были слегка переписаны.
Mazdaywik added a commit that referenced this issue Nov 17, 2020
@Mazdaywik
Оптимизирован поиск метатаблиц в дереве при прогонке (#310, #319)
b68328d
Mazdaywik added a commit that referenced this issue Nov 17, 2020
@Mazdaywik
Оптимизировано встраивание функций в графе вызовов (#310, #319)
a32c34b
Mazdaywik added a commit that referenced this issue Nov 17, 2020
@Mazdaywik
FIXED: оптимизирован поиск в графе в DoBasicVertexes (#310, #319)
70977f6 
Для поиска используется хэширование, которое позволяет снизить сложность
с линейной до квадратного корня. Размер хеша (101) оптимизирован для случая
≈10 000 функций.
Mazdaywik added a commit that referenced this issue Nov 17, 2020
@Mazdaywik
Оптимизирована проверка имени прогоняемой функции (#310, #319)
9e2fa4b 
Тоже используется хеширование, в данном случае — хеш-множество.
Mazdaywik added a commit that referenced this issue Nov 17, 2020
@Mazdaywik
Оптимизирована работа с метатаблицами в интринсике Mu (#310, #319)
46899ba
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг: унифицирован формат графа вызовов (#310, #319)
9aa2da5
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг: прояснения имён функций и переменных (#310, #319)
a2cf15d
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Почти рефакторинг формирования корней графа (#310, #319)
277739f 
Почти, т.к. порядок корней меняется, а значит, могут измениться базисные
вершины. Но на корректность это никак не влияет.

Не обязательно добавлять в список корней имена __INIT и __FINAL только
когда такие функции есть в графе. Их можно добавлять всегда, алгоритм
обхода графа их просто пропустит, не найдя в графе.
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг сбора метаинформации для графа (#310, #319)
6cc43c3
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг: имена entry-функций собираются в t.MetaInfo (#310, #319)
dae1c2a
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Почти рефакторинг: __INIT и __FINAL в конце списка корней (#310, #319)
b80b23f 
Порядок имён в списке корней может влиять на выбор базисных вершин.
Мы их помещаем в самый конец, поскольку эффективнее их пропустить на самой
последней итерации, когда граф уже почти пустой, чем на самой первой.
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг: в графе не хранится s.ScopeClass (#310, #319)
8c54fd4
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Рефакторинг: уточнение имён переменных и функций (#310, #319)
bb2e952
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Оптимизировано сворачивание inline’ов в графе вызовов (#310, #319)
fdd7519 
Было заманчиво написать

    <ApplyInlines e.Inlines (e.Inlines)>

и сделать функцию MakeInlineClosure с одним аргументом, но это оказалось
немного медленнее. Поэтому там e.InlinesAcc, который насыщается
до неподвижной точки.
Mazdaywik added a commit that referenced this issue Nov 22, 2020
@Mazdaywik
Оптимизировано пополнение потомков при свётке inline (#310, #319)
470e9ff
Mazdaywik added a commit that referenced this issue Nov 23, 2020
@Mazdaywik
Ускорен алгоритм хеширования имён (#310, #319)
68c6235
Mazdaywik added a commit that referenced this issue Nov 25, 2020
@Mazdaywik
Замена Map → MapAccum для избежания копирования контекста (#310, #319)
001bb20
Mazdaywik added a commit that referenced this issue Nov 25, 2020
@Mazdaywik
Оптимизация Symb для случая одной макроцифры (#310, #319)
c63f7a6 
Функция StrFromMacroDigit переименована в Symb-Digit по аналогии
с Add-Digits и другими. Автотест добавлен для уверенности — для покрытия
нового первого предложения функции (ранее тесты проверяли только длинные
числа).
Mazdaywik added a commit that referenced this issue Nov 26, 2020
@Mazdaywik
FIXED: лимит памяти для автотеста на разметку метатаблиц (#310, #325)
0ddacbb 
Учтено, что на Linux может требоваться больше памяти на больший префикс,
поэтому лимит памяти для компилятора повышен.
Mazdaywik added a commit that referenced this issue Nov 26, 2020
@Mazdaywik
FIXED: чистка автотеста markup-metatables после себя (#310, #325)
b50ca76
@Mazdaywik Mazdaywik linked a pull request Nov 26, 2020 that will close this issue
Исправлены ошибки и проблемы производительности в новом коде #328
Merged
@Mazdaywik
Copy link
Member Author

Код приемлем по быстродействию, новых критичных ошибок пока не вылезло. Правки @nexterot’а по экранированию предложений я не проверял, поскольку это пока побочная функциональность.

Mazdaywik added a commit that referenced this issue Nov 27, 2020
@Mazdaywik
FIXED: авторазметка запрещала прогонку всех функций (#310, #319, #332)
639493b 
Почему-то (видимо, невнимательный копипаст) все функции программы помещались
в список e.Forbidden, из-за чего они не прогонялись.
Mazdaywik added a commit that referenced this issue Nov 29, 2020
@Mazdaywik
Рефакторинг: удалено бесполезное предложение (#310)
85b8897
Mazdaywik added a commit that referenced this issue Nov 29, 2020
@Mazdaywik
Мелкий рефакторинг построения графа вызовов функций (#310)
ab93a94
Mazdaywik added a commit that referenced this issue Nov 29, 2020
@Mazdaywik
FIXED: пропускались условия при построении графа вызовов (#228, #310)
fe02b50 
Ранее это не приводило к проблемам, т.к. ни прогонка не осуществляется
в функциях с условиями, не сами функции с условиями не подлежат прогонке.
Mazdaywik added a commit that referenced this issue Nov 29, 2020
@Mazdaywik
Базовая поддержка удаления неиспользуемых функций (#228, #310)
e389bec 
Поддержка была реализована на основе графа вызовов функций, используемом
для авторазметки (#252). Реализованный алгоритм обхода графа не только
выявлял функции, пригодные и не пригодные для прогонки, но и функции
недостижимые. Этим и воспользовались.

Граф строится по упрощённой схеме: не выполняются встраивания косвенных
вызовов, метатаблиц и inline-функций. Всё это нужно для разметки
прогоняемых вершин, но избыточно в рамках настоящей задачи.

Корнями графа при обходе считаются все функции без суффиксов — так проще
не в ущерб корректности.

При построении в граф также добавляются теги АТД-скобок как указатели.
На корректность разметки для прогонки это никак не влияет, поскольку
теги абстрактных скобок обычно являются пустыми функциями. Но они нужны
алгоритму чистки, иначе определения тегов будут удалены и программа станет
некорректной.
Mazdaywik added a commit that referenced this issue Dec 6, 2020
@Mazdaywik
Пустые функции не прогоняются (#310)
1c33417 
Во-первых, они не помечаются авторазметкой для прогонки,
т.к. не помещаются в граф.

Во-вторых, они помечаются как запрещённые для прогонки.

В-третьих, модуль прогонки не рассматривает пустые хвосты как прогоняемые.
Mazdaywik added a commit that referenced this issue Dec 6, 2020
@Mazdaywik
Рефакторинг: удалено избыточное поле s.ScopeClass в e.DriveInfo (#310)
f8f2494
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@Mazdaywik Mazdaywik

Labels
task
Projects
None yet
Milestone
No milestone
1 participant
@Mazdaywik