AB
...Но не поместится в char32_t, если эмодзи с модификатором пола или расы.
Это разве не графемный кластер (или как это называется)?
Size: a a a
2020 April 10
AB
Короче, желаю автору определится, что такое символ и зачем ему они
YH
Возможно. Поэтому Егору все же следует читать из файла просто байтики.
DV
Привет. А как правильно прочитать файл в utf8 посимвольно в чистом c?
Егор, дерзай:
inline std::size_t utf8len(char c) noexcept {
if (!(c & 0x80)) return 1;
if (c & 0x40) {
if (c & 0x20) {
if (c & 0x10) {
if (c & 0x08) {
if (c & 0x04) { return 6; }
return 5;
} return 4;
} return 3;
} return 2;
} return 1;
}PK
Так я посимвольно хочу
Не путай глифы и графемные кластеры с код поинтами и байтами
PK
Разве? У меня помещается
Они разные есть
PK
Большинство не поместится (на винде)
ДЛ
Так я посимвольно хочу
Крайне рекомендую не хотеть читать юникод посимвольно. Почитай про графемы, единицы кодировки и code points.
ДЛ
Егор, дерзай:
inline std::size_t utf8len(char c) noexcept {
if (!(c & 0x80)) return 1;
if (c & 0x40) {
if (c & 0x20) {
if (c & 0x10) {
if (c & 0x08) {
if (c & 0x04) { return 6; }
return 5;
} return 4;
} return 3;
} return 2;
} return 1;
}UTF8 не бывает длиннее 4.
Крайне рекомендую не хотеть читать юникод посимвольно. Почитай про графемы, единицы кодировки и code points.
Да господи, читал я про все это
PK
у меня откуда-то давно выдранный код на С, который определяет длину символа в байтах по таблице + if, и это весьма замедляет работу со строками
А что такое символ? :) Decomposed UTF, как в OSX, например, в это определение вписывается?
A
Вы для символа из середины последовательности возвращаете 1.
Кроме того, я бы избавился от лестницы инвертировав условия.
Кроме того, я бы избавился от лестницы инвертировав условия.
думаю, вызывать на байте из середины последовательности - ошибка.
Лично мне нужен код, который максимально быстро по первому байту utf8 кода скажет длину этой последовательности, чтобы я мог прыгнуть на следующий символ.
Лично мне нужен код, который максимально быстро по первому байту utf8 кода скажет длину этой последовательности, чтобы я мог прыгнуть на следующий символ.