t
спасибо за совет, я сконвертировал все свои модели в формат ipynb, стали занимать считанные килобайты.
Size: a a a
2020 July 15
D
спасибо за совет, я сконвертировал все свои модели в формат ipynb, стали занимать считанные килобайты.
🙄 молодец, теперь будешь тыкать сарказмом до вечера?
t
почему только до вечера? 🙂
D
не суть, тут акцент на том что я использую предобученный gpt-2 xl
D
вот gpt2 в сравнении тупит ещё как, да ещё и плохо справляется с запоминанием, контекстом и описыванием деталей
про "тупит"
D
если конкретнее - выдаёт несвязный бред и повторяется даже с правильной температурой
MT
gpt2 просто языковая модель, а не генератор текстов, тем более со смыслом.
MT
Не стоит ждать от нее ничего особенного
MT
Качество языковой модели зависит от размера модели и количества данных, которые туда скормлены. Но чтобы сделать что-то что более менее "разумно" отвечает требования по генерации, надо потратить много денег
MT
"правильной" температуры тоже нет.
Вообще рекомендую использовать sample_sequence из https://github.com/mgrankin/ru_transformers/blob/master/run_generation.py
И поиграться с параметрами top_k и top_p
Вообще рекомендую использовать sample_sequence из https://github.com/mgrankin/ru_transformers/blob/master/run_generation.py
И поиграться с параметрами top_k и top_p
MT
это комбинация top k фильтрации и "nuclear sampling", если я правильно помню как в оригинальной статье назвали подход
MT
З.Ы. весь тред не читал, в нем слишком много негатива, поэтому мои ответы уже могут быть не актуальны, да
I
З.Ы. весь тред не читал, в нем слишком много негатива, поэтому мои ответы уже могут быть не актуальны, да
Как думаешь, можно было бы уменьшить негатив?)
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
MT
Как думаешь, можно было бы уменьшить негатив?)
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
Сложный вопрос, уменьшить наверное можно, если не агриться, когда человек не прав (даже на уровне культуры общения), и понимать, что человек может ошибаться и заблуждаться и это нормально, все мы можем. Но это все философия :)
М
Как думаешь, можно было бы уменьшить негатив?)
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
Я без шуток) Культура общения -- тема моих хоть и досужих, но размышлений.
Активно участвовать в тредах с биморфом. 😄
Доводя свою выдержку до абсолюта.
Доводя свою выдержку до абсолюта.
D
"правильной" температуры тоже нет.
Вообще рекомендую использовать sample_sequence из https://github.com/mgrankin/ru_transformers/blob/master/run_generation.py
И поиграться с параметрами top_k и top_p
Вообще рекомендую использовать sample_sequence из https://github.com/mgrankin/ru_transformers/blob/master/run_generation.py
И поиграться с параметрами top_k и top_p
huggingface утверждает что этот способ хреновый
https://colab.research.google.com/github/huggingface/blog/blob/master/notebooks/02_how_to_generate.ipynb#scrollTo=NsWd7e98Vcs3
https://colab.research.google.com/github/huggingface/blog/blob/master/notebooks/02_how_to_generate.ipynb#scrollTo=NsWd7e98Vcs3
D
и да, вообще-то есть - 0.6
D
Качество языковой модели зависит от размера модели и количества данных, которые туда скормлены. Но чтобы сделать что-то что более менее "разумно" отвечает требования по генерации, надо потратить много денег
https://twitter.com/nickwalton00/status/1283143210999484416
тут вот я только могу сюда пальцем показать и сказать что каким-то непонятным образом у них получилось
тут вот я только могу сюда пальцем показать и сказать что каким-то непонятным образом у них получилось
D
но справедливости ради база на gpt-3
MT
huggingface утверждает что этот способ хреновый
https://colab.research.google.com/github/huggingface/blog/blob/master/notebooks/02_how_to_generate.ipynb#scrollTo=NsWd7e98Vcs3
https://colab.research.google.com/github/huggingface/blog/blob/master/notebooks/02_how_to_generate.ipynb#scrollTo=NsWd7e98Vcs3
В разных статьях можно встретить разные мнения, потому что задача оценки в данном случае сложна. По моему опыту, это метод хорошо достаточно работает, редко повторяется и создает достаточно разнообразные тексты.