d
Самый жирный T5 от сбера)
Size: a a a
2021 December 06
🐙
Привет! Нужно получить именно документ с текстом "Привет" если на вход подан "$Привет" ?
d
GPT тоже может хорошо сработать, вам стоит поэксперементировать с промтом - иногда это помогает.
d
А как мы с берта будем декодированное получать?
MB
я только начинаю разбираться во всем этом(LM)
d
Ну с GPT даже 0 строчек кода
Разобраться как нужные версии библиотек запинать и подготовить данные
Разобраться как нужные версии библиотек запинать и подготовить данные
d
Для подготовки данных придётся разметить их другой моделькой и в формат
"Ответь токсично: привет => иди в пень" привести
"Ответь токсично: привет => иди в пень" привести
MB
я уже разметил
d
Берите самую большую ruGPT-3 и самую большую T5. Обе в теории могут даже без дообучения генерировать то, что вам нужно. Либо руками размечаете примеры (500 штук будет достаточно) и дообучаете модель на этих данных или же используете 10-15 примеров как промт
MB
для чего 2 модели?
d
Какая лучше будет работать, ту и оставите
d
Пощупать и выбрать, что больше нравится
d
Креативность vs предсказуемость )
MB
я планировал дообучать так: tweet:tag:sent:sep:sent
d
Так вперёд )
MB
качаю T5-large)
d
Ну и в 500 примеров для T5 не верю, да
d
Как и в 5000
d
Как и в 50000
d
для gpt сработало в своё время