SM
В начале следующей недели. Я кину ссылку сюда.
Size: a a a
2021 November 13
M
Понял, спасибо ещё раз)
SS
При подготовке датасета для ner, нужно ли в нем оставлять предложения, в которых вообще нет сущностей, как примеры отсутствия, и если нужно, то насколько много?
Е
Обучение или обученные модели сравниваешь?
SS
Именно для обучения
PG
Нужно, но нельзя, чтобы предложений без сущностей было >X%. X - по дефолту ~50, дальше надо подбирать, тк зависит от сущностей, длины предожений и проекта.
Подбирать по результатам на валидации, где есть все предложения без сущностей.
Подбирать по результатам на валидации, где есть все предложения без сущностей.
SS
Ага, спасибо. Так и думал, только пропорция интересовала. Но до 50 процентов, это не слишком много? Или таким образом добиваемся большей точности?
PG
Там trade-off будет: сваливание модели в то, чтобы вообще ничего не предсказывать vs высокий false positive на валидации.
A
Новая модель для перевода от FB.
На какую карту она влезет? Вес модели 17,5 Gb🤷♂️
https://twitter.com/psuraj28/status/1459546962571587591?t=oevGBOtfEDQ8EGby5iOFbw&s=19
На какую карту она влезет? Вес модели 17,5 Gb🤷♂️
https://twitter.com/psuraj28/status/1459546962571587591?t=oevGBOtfEDQ8EGby5iOFbw&s=19
FF
Ну на A100 влезет
R
V100, p6000, 3090...
A
Скорее это был риторический вопрос ))
Что модель уже не использовать "на коленке", на какой-нибудь домашней карте.
Что модель уже не использовать "на коленке", на какой-нибудь домашней карте.
2021 November 14
ИМ
Всем привет, пишу проект-whitepaper по NLP, нужна консультация сегодня на 1-1.5 часа по используемым технологиям и точности терминологии, заплачу 5-10 тыс.руб. Кто готов помочь, плз пишите в личку.
BZ
Привет, задача такая - делать seq2seq из кода в код. Существенно, что словарь на выходе сильно отличается от входного. Какую модель взять, чтобы не собирать все с нуля? у Т5 вроде словари одинаковые
IG
и не очень понятно, с чего бы словарям отличаться
BZ
На выходе - псевдокод, словарь гораздо меньше
IG
так и что? не больше же, это обучению модели не помешает
IG
сейчас все словари миниатюрные (типа 50000 токенов)
IG
можно сразу в обе стороны учить, это может и на качестве модели хорошо отразиться