E
есть библиотеки для питона, которые умеют читать docx
Size: a a a
2021 October 11
d
Я не очень умненький или sberbank-ai очень хитренький?
A
а точно заглавная?
d
Только она)
d
Строчная есть
c
len(tokenizer.get_vocab().items()) ?
d
32100
A
видимо слово Щавель не входит в словарь))
d
Я понимаю, что не самая частая буква... Но не до такой же степени)
Eg
Может, какая-то хитрая диакритика в хвостик щ пробралась?
d
🤷🏼♂️
В моём примере это честная уникодная утфная Щ
Другие модельки её видят
В моём примере это честная уникодная утфная Щ
Другие модельки её видят
🐙
Что если отсортировать токены в алфавитном, и посмотреть, что там на месте Щ?
d
Фигня куда-то не туда отстортируется...
Но это мысль, вытащить уникальные символы
Сейчас сделаю
Но это мысль, вытащить уникальные символы
Сейчас сделаю
MT
Забавно выходит, да
MT
В модели Давида (cointegrated/rut5-base-multitask) такой проблемы нет, кстати
d
Не вижу диактрики
xad это мягкий перенос
xad это мягкий перенос
d
Ё, Q, Y, Z тоже не вижу, кстати, к отсутствию Ъ претензий нет )
d
Прокомментируете? :)
d
Хочется истории из серии "этот маленький баг препроцессинга будет стоить нам ... машиночасов", а то, что я один страдаю )
ID
вот теперь я это увидел, и ты страдаешь не один 🙁