Ну я свое мнение в дизайне описал. Если хочешь, можешь добавиться

Сам думал как раз над вторым дизайном только с variant вместо юнион. В лексере из туториала mlir предлагают вариант где type содержит конкретный keyword, а в clang, если правильно помню есть таблица кейвордов, но тип у них общий: keyword.

Я делал с вариантом изначально. Казалось удобно. Но сейчас все переделал

Интересно ещё нужно ли в лексере разделение на string и integer, float, т.е. Должен ли он парсить литералы

Так. Я так делал изначально.
И у меня с этим появились проблемы.

Во-первых, это было неудобно просто для парсера потом.
Во-вторых, что самое главно, это неправильно с точки зрения того, что должен делать лексер. Лексер не должен парсить инты, флоаты и тд. Это должен делать компилятор/интерпретатор, в зависимости от того, что делаешь

Привествую всех,не могу понять зачем к токену всегда добавляют запись из таблицы символов,вдруг токен описывает какой то оператор или операцию? (это написано в книге про компиляторы,где дракон нарисован 2 издание)

Предположим ты добавил sized числа. Uint32, uint64 и тд

Лексеру должно быть все равно какого размера число, по длине. Это ответственность компилятора

На самом деле это от реализации зависит. Можно разделить операторы и киворды. Но числа в юнионах на уровне токенов хранить не стоит.


Если у тебя на уровне парсинга важно знать, что токен это оператор, например, если у тебя есть оверрайд типа def +(), как в руби, то это может быть удобно. Но хз.

У меня определение оператор/киворд реализовано возможно не супер безопасно: у меня enum class TokenType: uint8_t, в котором токены сгруппированы и определяется по range от первого оператора до "не оператора"

Вопрос немного глупый как одиночный statement в ast перевести в SSA, чет ближе к вечеру совсем не соображаю, но очень уж хочется запустить сегодня генерацию. Извиняюсь за тупой вопрос просто только это и касты остались

что такое одиночный statement?

a = b + 127 * 900

Одиночный, если добавить ; будет одиночный expr

%tmp = mul 127, 900
%a = add %b, %tmp
:)

Это понятно

Как дерево обходить я про это

не понимаю в чем, проблема, statement дожен состояить из дерева выражений

рекурсивно

Вот, а как не рекурсивно

Это можно даже без построения CFG. Сдесь описано как
https://pp.ipd.kit.edu/uploads/publikationen/braun13cc.pdf

а в чем проблема с рекурсией?)