PS
Переслано от hazer_hazer
На самом деле это от реализации зависит. Можно разделить операторы и киворды. Но числа в юнионах на уровне токенов хранить не стоит.
Если у тебя на уровне парсинга важно знать, что токен это оператор, например, если у тебя есть оверрайд типа
У меня определение оператор/киворд реализовано возможно не супер безопасно: у меня enum class TokenType: uint8_t, в котором токены сгруппированы и определяется по range от первого оператора до "не оператора"
Если у тебя на уровне парсинга важно знать, что токен это оператор, например, если у тебя есть оверрайд типа
def +(), как в руби, то это может быть удобно. Но хз. У меня определение оператор/киворд реализовано возможно не супер безопасно: у меня enum class TokenType: uint8_t, в котором токены сгруппированы и определяется по range от первого оператора до "не оператора"
В демопроекте mlir (toy называется) они пошли тем же путем https://github.com/llvm/llvm-project/blob/master/mlir/examples/toy/Ch1/include/toy/Lexer.h
