A
а вот я склепал на коленке seq2seq, причем для одного и того же инпута может быть несколько разных результатов. А он всегда выдает одно и то же. Это как-то лечится?
Size: a a a
2020 January 17
D(
а вот я склепал на коленке seq2seq, причем для одного и того же инпута может быть несколько разных результатов. А он всегда выдает одно и то же. Это как-то лечится?
Ну классический seq2seq - детерминированная штука. Один инпут -> один аутпут.
Что можно сделать ради разнообразия:
- подавать в модель какой-нибудь шум (дропаут, например, или просто прибавлять к какому-нибудь слою случайную величину) - как на обучении, так и на применении
- при декодировании брать не top1 гипотезу, а top k, и выбирать из них случайным образом
Что можно сделать ради разнообразия:
- подавать в модель какой-нибудь шум (дропаут, например, или просто прибавлять к какому-нибудь слою случайную величину) - как на обучении, так и на применении
- при декодировании брать не top1 гипотезу, а top k, и выбирать из них случайным образом
A
ага, посмотрю сейчас на декодирование
A
да, там был max, сделал случайное с нужной вероятностью
CT
а вот я склепал на коленке seq2seq, причем для одного и того же инпута может быть несколько разных результатов. А он всегда выдает одно и то же. Это как-то лечится?
beam search в помощь
CT
А, ну уже сказали)
2020 January 18
AD
Всем привет!
Мб кто сможет подсказать, как решить проблему. В общем, попробовал некоторый код с flair, вроде всё хорошо работало. Потом пришлось создавать новое виртуальное окружение и на нём запускать. И тут-то всё сломалось
Вроде элементарный код, но в чём загвоздка — никак не пойму
Получаемая ошибка из консоли — пикрелейтед
Мб кто сможет подсказать, как решить проблему. В общем, попробовал некоторый код с flair, вроде всё хорошо работало. Потом пришлось создавать новое виртуальное окружение и на нём запускать. И тут-то всё сломалось
Вроде элементарный код, но в чём загвоздка — никак не пойму
Получаемая ошибка из консоли — пикрелейтед
AD
Вот сам код
V
А версия pytorch та же, что и в прошлом виртуальном окружении была?
AD
Причём не гуглится совсем
AD
Вот я не знаю, к несчастью, тогда не подумал записать requirements.txt, теперь жалею
AD
Попробовал с разными версиями: торч последний + 2 предыдущие версии
AD
Эта ошибка на последней версии торча
На предыдущей выходит другая
На предыдущей выходит другая
AD
Флейр вроде последнюю версию от октября имеет, так что вряд ли обнова какая
Ставил всё тогда через pip
Ставил всё тогда через pip
АР
похоже что версия торча несовместима
V
Попробуйте версию pytorch 1.0-1.2, многие проекты на них сидят до сих пор
AD
Хорошо, попробую
Спасибо за совет!
Спасибо за совет!
2020 January 19
VR
Добрый день! Есть датасеты для русского по кроссвордам?
VR
Имеется ввиду база вопрос-ответ
VR
Рассчитываю найти от 100000 пар