E
Конечно же нет. У нас все свое и табливы дял unicode properties строим сами более компактно. Используется three staged static trie
а для форматирования чисел всякие правила, даты?
Size: a a a
2020 December 01
M
а для форматирования чисел всякие правила, даты?
Пока этого нету
E
хотя это наверное можно в жс интеропать
E
в случае выполения в браузере
M
Там пока только case mapping (с учетом граничных случаев таких как греческая сигма) и еще парочку свойств. Для Regex придется генерить еще таблицы со свойствами, но там это так же решаемо
M
хотя это наверное можно в жс интеропать
Не, слишком медленно, кроме того мы стараемся не зависить от хоста вообще никак
E
мы решили всё-таки ICU тащить, пострипали его с 24мб до где-то 1.5
E
но все равно много
E
весит как всё остальное
YS
Если в вашем лексере нет чтения символов из строки или сравнения строк, то беспокоиться не о чем. Я вообще отвечал на сообщение о том, что нужно все в UTF32 переводить и лишь заметил, что не обязательно
А, понятно, спасибо!
M
мы решили всё-таки ICU тащить, пострипали его с 24мб до где-то 1.5
О да, ICU слишком моструозен. Кроме того очень много граничных случаев на самом деле нет смысла обрабатывать. Я там встречал сложные реализации и необходимостью тащить несколько килловайт таблиц лишь для случая который очень уж редко встречается и не слишком страшно если его не обработать. Так кстати делают в Go и Rust. У обоих свои реализации для работы с юникодом
E
ну мы будем постепенно отказываться да
E
просто у нас уже огромный спектр апих для работы с культурами и т.п. - всё сразу покрыть без icu cложно было
E
а вообще чего там в ICU только нет действительно :)
E
по сложности кода как среднего уровня компилятор)
M
а вообще чего там в ICU только нет действительно :)
Более того за многие годы там полно коллиций и редундантных случаев уже)
E
ну большинство из этого отключается, они там сделали DSL
h
Привет. Не кидайтесь камнями, но у меня самописный парсер и лексер, а не бизон или антлер (кто его так называет? :) )
Это не финит стейт машина, а что-то намешанное.
Вопрос: я сейчас делаю его чуть более мощным в плане возможностей и меня смущают прыжки туда и обратно на индекс при анматчинге, а раньше он был полностью линейным. Насколько это нормально?
Это не финит стейт машина, а что-то намешанное.
Вопрос: я сейчас делаю его чуть более мощным в плане возможностей и меня смущают прыжки туда и обратно на индекс при анматчинге, а раньше он был полностью линейным. Насколько это нормально?
E
на котором можно описать что тебе не нужно и какие локали не нужны
h
Привет. Не кидайтесь камнями, но у меня самописный парсер и лексер, а не бизон или антлер (кто его так называет? :) )
Это не финит стейт машина, а что-то намешанное.
Вопрос: я сейчас делаю его чуть более мощным в плане возможностей и меня смущают прыжки туда и обратно на индекс при анматчинге, а раньше он был полностью линейным. Насколько это нормально?
Это не финит стейт машина, а что-то намешанное.
Вопрос: я сейчас делаю его чуть более мощным в плане возможностей и меня смущают прыжки туда и обратно на индекс при анматчинге, а раньше он был полностью линейным. Насколько это нормально?
Я плох в теории о lalr, lr, clr и тд.
Но вопрос скорее: "Все ли парсеры прыгают назад?"
Но вопрос скорее: "Все ли парсеры прыгают назад?"