IG
fasttext ❤️
Size: a a a
2021 June 10
E
обычно такие задачи решаются так. Выбираются 5-10 моделей, запускается обучение, сравнивается результат
IG
мы пробовали выучить берт и дистиллировать в fasttext, работало прекрасно
IG
там не свосем дистилляция, скорее pseudolabeling, как следует из названия
v
а сравнивали с трансформерами, по скорости понятно, а что по качеству получилось?
IG
Так прям там в ноутбуке xlmroberta, 94.5% точности против 96.6%
Но нам принципиально нельзя было в инференсе трансформеры использовать
Но нам принципиально нельзя было в инференсе трансформеры использовать
IG
Если таких ограничений нет, Давид буквально вчера выложил маленькую модельку: https://habr.com/ru/post/562064/
v
всем спасибо
уже попробовал ее, получилось неплохо. хочу еще покурить просто
уже попробовал ее, получилось неплохо. хочу еще покурить просто
A
а разметка есть? сколько классов?
v
данных всего около 100к, 10 классов
N
оч круто, наверное, но если что — яндексовские данные (миллион которые) очень грязненькие (мы на них немного перевод гоняли, я на данные смотрела, много вопросов к ним). в идеале б мб даже более каноничные датасеты WMT и около получше подошли для тренировки, наверное (но это я так, рассуждаю)
пинг @cointegrated
пинг @cointegrated
IG
это лучше Давиду и написать (хотя он скорее всего и здесь прочитает)
N
да, щас поправлю
DD
Слушай, если ты накидаешь сюда список параллельных англо-русских корпусов, которые считаешь качественными, думаю, не один я буду благодарен)
SМ
Ага ага
SS
Спасибо! Именно то, что было нужно.
У меня на текущий момент очень простая задача - собрать словообразование из разных источников и как-то его нормализовать, привести к общей базе. Ну и еще надо сделать анализ того, что еще не проанализировано. Хотелось сделать это как-то осознанно. Как минимум, стало понятно откуда взялись "формообразующие суффиксы" ….
У меня на текущий момент очень простая задача - собрать словообразование из разных источников и как-то его нормализовать, привести к общей базе. Ну и еще надо сделать анализ того, что еще не проанализировано. Хотелось сделать это как-то осознанно. Как минимум, стало понятно откуда взялись "формообразующие суффиксы" ….
B
🔫 Paul кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@LoneGeek, @olegdurandin, @Nikitini, @cointegrated, @stepvasya
При поддержке Золота Бородача
Проголосовавшие за кик:
@LoneGeek, @olegdurandin, @Nikitini, @cointegrated, @stepvasya
При поддержке Золота Бородача
2021 June 11
SP
Коллеги, а кто может посоветовать какой датасет для SQuAD для русского языка?