Только я не из девайсов)

А там не Таня!

Ага

В таком случае:

Ну то что rugptxl не доступна через дефолтный Huggingface - это боль, понятно что спарс из дипспида и тд, но все же больно

Сильно заметно что исходные тренировочные данные зашумлены, все модели меньше large ужасно работают почти во всех стандартных nlp задачах сравнивал с gpt2 Майкрософта

Модели очень склонны учить xml-html разметку в отличие от англоязычных собратьев

Длинна последовательности без потери смысла - 400-500 токенов, дальше улетает в седло и все ппц

А чистить датасет от html/xml очень дорого?

Нет, но неприятно

И иногда что то можно не заметить

🔫 Илья кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@Spiralhead, @olegz1339, @skabbit, @bazhanRO, Ilya Kalinin
При поддержке Золота Бородача

да, критика конструктивная, видим таки моменты, работаем над этим

добрый вечер! подскажите, пожалуйста, кто-нибудь встречал справочник адресов россии(или конкретных городов, фиас) в csv-формате? на официальном сайте фиас я так понял только xml можно выгрузить... но такое парсить чувствуется дико неудобно

Xml не парсят

а как тогда список адресов с улицами-домами получить?

В языках программирования есть модули для xml,в результате вы работаете с обьектами языка, остальные преобразования на ваше усмотрение

Структуру xml изучить придётся, да

Но это машиночитаемый формат, о 'дико неудобно' тут речь не идет

ну тем не менее, там очень много отдельных файлов xml. мне кажется, загружать каждый отдельно для получения одного или пары адресов будет попросту долго. поэтому и спрашиваю не встречал ли кто-нибудь csv, тк может уже есть готовое.

Спросите (поищите поиском) в чате открытых данных

спасибо!

Коллеги, а есть словарь синонимов  eng языка или лучше использовать wordnet?