A
и надо определить кодировку
Size: a a a
2021 April 02
A
UTF-16BE, UTF-16LE, UTF-8, UTF-32
VD
вот, кстати, интересная задача, посчитать количество строк в файле, с учетом того, что они, блять, могут быть не нормализованные)
Не нормализованные это какие?
R
Не нормализованные это какие?
мб иероглифи или смайли задрлченные?
A
Не нормализованные это какие?
это когда у тебя есть разные форматы конца строк в файле
A
такое порой бывает из-за корявого git config Например
VD
это когда у тебя есть разные форматы конца строк в файле
А ну просто можно завести мапу с вариантами
VD
И делать find
A
сможешь перечислить все варианты
VD
Определение кодировки уже сложнее будет
VD
сможешь перечислить все варианты
Ну надо в доке найти)
A
ну вот у тебя три логических символа
A
"\n" | "\r" | "\r\n"
A
это я в EBNF кусок говна описал "типа"
A
newlineMarker := "\n" | "\r" | "\r\n"
A
но вот незадача, в utf16 в зависимости от BE/LE и в UTF-8 эти логические символы будут ложиться по-разному
VD
Ля я слепой забей
VD
но вот незадача, в utf16 в зависимости от BE/LE и в UTF-8 эти логические символы будут ложиться по-разному
Мемрев
A
и вот тут сразу хочется вспомнить UAX-бумажки
VD
И двойная проверка