В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Compiler Development

990 membersпожаловаться на группу
2020 December 12

h

hazer_hazer in Compiler Development
for(int c; (c = getchar()) != EOF;)
У меня есть конкретное дерево разбора для кода (CST), и соответствующее ему абстрактное (AST), полученное из первого просто выбрасыванием всех вспомогательных токенов.

Мне нужно сделать обратное преобразование - имея AST по нему добавить недостающие токены (и потом в собрать это все обратно в строку). Самый простой вариант это реализовать - написать вручную куда и при каких условиях что нужно добавить, но это достаточно мутный процесс.

У меня была идея распарсить какое-то количество тестового кода, собрать статистику по тому где какие вспомогательные токены встречаются, и на основе этого сгенерировать код для преобразователя из AST в CST. Возможно с какими-то ручными изменениями после.

Может быть кто-то встречал что-то похожее и может порекомендовать какие-то статьи на эту тему? Если честно то у меня не очень получилось даже загуглить это, но может быть я не смог сформулировать.
Ну. Тебе не нужно ast в cst трансформировать.
Так как особенность cst в том, что ты знаешь "как" пользователь написал, но эта информация тебе недоступна. А самого ast достаточно, чтобы преобразовать все в строку.
источник
22:08пожаловаться#1

h

hazer_hazer in Compiler Development
for(int c; (c = getchar()) != EOF;)
Нет, нет, проблемы в рендеринге в строку нет, меня интересовало только преобразование AST -> CST, с остальным все достаточно понятно.
Хммм.... Тогда все опциональные токены заменяешь на их присутствие

Например, у меня в япе можно опустить () если нет аргументов, либо вообще их не писать и просто через запятую аргументы перечислить, но при выводе дерева я пишу (), также как и с опциональными ;
источник
22:10пожаловаться#2

f

for(int c; (c = getc... in Compiler Development
У меня был вопрос в том как автоматом генерировать преобразователь AST -> CST, а не в том как это вообще сделать можно. Понятное дело что это несложно, но писать 

if node.kind == cppForSmtt:
  result.add "for ("


Для дерева разбора С++ это занятие унылое. Но на самом деле у меня просто из головы вылетело что я могу проанализировать грамматику и на ее основе что-то делать
источник
22:11пожаловаться#3

f

for(int c; (c = getc... in Compiler Development
hazer_hazer
Хммм.... Тогда все опциональные токены заменяешь на их присутствие

Например, у меня в япе можно опустить () если нет аргументов, либо вообще их не писать и просто через запятую аргументы перечислить, но при выводе дерева я пишу (), также как и с опциональными ;
И понятное дело что в ситуациях когда можно писать одно и то же двумя методами нужно будет сделать однозначный выбор, но это уже нерелевантные детали если сгенерироавнный код собирается нормально то это все что нужно
источник
22:12пожаловаться#4

h

hazer_hazer in Compiler Development
for(int c; (c = getchar()) != EOF;)
У меня был вопрос в том как автоматом генерировать преобразователь AST -> CST, а не в том как это вообще сделать можно. Понятное дело что это несложно, но писать 

if node.kind == cppForSmtt:
  result.add "for ("


Для дерева разбора С++ это занятие унылое. Но на самом деле у меня просто из головы вылетело что я могу проанализировать грамматику и на ее основе что-то делать
Тогда я не понял. Что значит "автоматом"?
источник
22:13пожаловаться#5

f

for(int c; (c = getc... in Compiler Development
Генератор кода для генераторов кода из AST. Звучит немного бредово, но если учесть что формулировка проблемы примерно

"Имея грамматику для CST, и список вспомогательных токенов, присутствующих в CST, но не в AST (получанном из CST фильтрацией токенов), написать преобразователь AST -> CST"

И меня интересовала автоматизация части "написать преобразователь"
источник
22:17пожаловаться#6

h

hazer_hazer in Compiler Development
for(int c; (c = getchar()) != EOF;)
Генератор кода для генераторов кода из AST. Звучит немного бредово, но если учесть что формулировка проблемы примерно

"Имея грамматику для CST, и список вспомогательных токенов, присутствующих в CST, но не в AST (получанном из CST фильтрацией токенов), написать преобразователь AST -> CST"

И меня интересовала автоматизация части "написать преобразователь"
не знаю какие тут могут быть оптимизации. можно сделать просто визитор с возвращаемым значением...
источник
22:18пожаловаться#7

f

for(int c; (c = getc... in Compiler Development
Оптимизации по времени программирования преобразователя. Просто не хочется писать это все руками, никаких дополнительных соображений больше нет.
источник
22:19пожаловаться#8

h

hazer_hazer in Compiler Development
for(int c; (c = getchar()) != EOF;)
Оптимизации по времени программирования преобразователя. Просто не хочется писать это все руками, никаких дополнительных соображений больше нет.
придется руками...
источник
22:21пожаловаться#9

а

а это кто in Compiler Development
for(int c; (c = getchar()) != EOF;)
Генератор кода для генераторов кода из AST. Звучит немного бредово, но если учесть что формулировка проблемы примерно

"Имея грамматику для CST, и список вспомогательных токенов, присутствующих в CST, но не в AST (получанном из CST фильтрацией токенов), написать преобразователь AST -> CST"

И меня интересовала автоматизация части "написать преобразователь"
ну вот есть генератор парсеров, а ты напиши генератор антипарсеров который по BNF сделает преобразователь AST -> CST
источник
22:22пожаловаться#10
2020 December 13

K

Kir in Compiler Development
for(int c; (c = getchar()) != EOF;)
У меня есть конкретное дерево разбора для кода (CST), и соответствующее ему абстрактное (AST), полученное из первого просто выбрасыванием всех вспомогательных токенов.

Мне нужно сделать обратное преобразование - имея AST по нему добавить недостающие токены (и потом в собрать это все обратно в строку). Самый простой вариант это реализовать - написать вручную куда и при каких условиях что нужно добавить, но это достаточно мутный процесс.

У меня была идея распарсить какое-то количество тестового кода, собрать статистику по тому где какие вспомогательные токены встречаются, и на основе этого сгенерировать код для преобразователя из AST в CST. Возможно с какими-то ручными изменениями после.

Может быть кто-то встречал что-то похожее и может порекомендовать какие-то статьи на эту тему? Если честно то у меня не очень получилось даже загуглить это, но может быть я не смог сформулировать.
Я в подобной ситуации просто хранил в каждом узле ленивый слайс исходника. Ещё у меня был претти-принтер
источник
01:55пожаловаться#11

PS

Pavel Samolysov in Compiler Development
Вот интересная статья, заголовочные файлы ещё себя покажут :) в том смысле что компиляция кода,  использующего заголовочные файлы параллелится гораздо лучше чем кода, использующего  модули. Другое дело, что здесь не сравнивается компиляция тонн шаблонов, так как полтора года назад модули С++ не умели в шаблоны. https://www.bfgroup.xyz/cpp_tooling_stats/modules/modules_perf_D1441R1.html
www.bfgroup.xyz
Are modules fast?
источник
12:02пожаловаться#12

PS

Pavel Samolysov in Compiler Development
В общем для голого Си модули наверное и не нужны, интересно туда их будут добавлять? Иначе Торвальдсу придётся выкинуть свой тредриппер.
источник
12:08пожаловаться#13

AT

Alexander Tchitchigi... in Compiler Development
Kir
Я в подобной ситуации просто хранил в каждом узле ленивый слайс исходника. Ещё у меня был претти-принтер
У меня с собой было CST, AST, CFG, SSA, IRs всех цветов и размеров и два претти-принтера. Не то чтобы это всё было строго необходимо, но если уж начал писать компилятор, трудно остановиться. А ещё ленивый слайс исходника в каждом узле. Я знал, что рано или поздно дойду и до этой дряни...
источник
12:09пожаловаться#14

PS

Pavel Samolysov in Compiler Development
Alexander Tchitchigin
У меня с собой было CST, AST, CFG, SSA, IRs всех цветов и размеров и два претти-принтера. Не то чтобы это всё было строго необходимо, но если уж начал писать компилятор, трудно остановиться. А ещё ленивый слайс исходника в каждом узле. Я знал, что рано или поздно дойду и до этой дряни...
Достойный эпиграф к любой книге про компиляторы. Надо ещё где-то SoN вставить
источник
12:12пожаловаться#15

AT

Alexander Tchitchigi... in Compiler Development
Pavel Samolysov
Достойный эпиграф к любой книге про компиляторы. Надо ещё где-то SoN вставить
Там уж либо SSA, либо SoN. Нельзя же упарываться до такой степени чтобы оба втащить! 😂
источник
12:13пожаловаться#16

PS

Pavel Samolysov in Compiler Development
Alexander Tchitchigin
Там уж либо SSA, либо SoN. Нельзя же упарываться до такой степени чтобы оба втащить! 😂
Так у него IR всех цветов и размеров, один SSA, другой SON
источник
12:19пожаловаться#17

K

Kir in Compiler Development
Alexander Tchitchigin
У меня с собой было CST, AST, CFG, SSA, IRs всех цветов и размеров и два претти-принтера. Не то чтобы это всё было строго необходимо, но если уж начал писать компилятор, трудно остановиться. А ещё ленивый слайс исходника в каждом узле. Я знал, что рано или поздно дойду и до этой дряни...
Четыре. Четыре претти-принтера
источник
12:39пожаловаться#18

K

Kir in Compiler Development
Alexander Tchitchigin
У меня с собой было CST, AST, CFG, SSA, IRs всех цветов и размеров и два претти-принтера. Не то чтобы это всё было строго необходимо, но если уж начал писать компилятор, трудно остановиться. А ещё ленивый слайс исходника в каждом узле. Я знал, что рано или поздно дойду и до этой дряни...
Я ещё ренджи и скоупы в каждом узле хванил, потому что если есть расширяемы рекорд - грех в него не запихать всё, что под руку попадётся
источник
12:41пожаловаться#19

BD

Berkus Decker in Compiler Development
Pavel Samolysov
В общем для голого Си модули наверное и не нужны, интересно туда их будут добавлять? Иначе Торвальдсу придётся выкинуть свой тредриппер.
А в голый си собираются добавлять модули?
источник
14:58пожаловаться#20