Про модели из hf я ответил в ods, "я бы смотрел в сторону мультиязычных дистиллированных моделей, типа https://huggingface.co/distilbert-base-multilingual-cased". Именно лёгких моделей для русского я не знаю, было бы круто, если бы их кто-то сделал.

если не завязываться на transformers, то ещё USE

В предпоследней строке вы случайно поставили пробел (или в примере он случайно появился), поэтому она не сработала. Во второй строке, наоборот, перед строкой нужен отступ. Надо выполнить две строки ещё раз, но перед первой строкой убрать пробел, а перед второй добавить.

Да, увидел, спасибо. Мультиязычные тоже должны подходить.

Да, спасибо, забыл про него

да, к gpt3 от сбера я отношусь скептично, именно для нормальных применений я ни разу не видел, чтобы оно работало

А я вот пытаюсь обучить руГПТ3 на javascript коде. Получается вполне приемлимо)

обучить на что?

что бы в иде моделька генерировался подсказки когда

Ок, уточню, под нормальными применениями я имел в виду что-то, где можно сравниться с другими моделями. Как авторегрессивная языковая модель она приемлемо работает.

а вот эмбеддинги из неё как будто бы так себе

Всем привет!
Есть задача, сделать для диплома MVP системы автоматической проверки открытых ответов на русском языке.
Нашел в интернете несколько статей на эту тему, одна идеальная - https://cyberleninka.ru/article/n/sistema-avtomaticheskoy-proverki-otvetov-na-otkrytye-voprosy-na-russkom-yazyke/viewer
Но, очевидно никаких исходников или хотя бы наборов данных там нет (наивный я конечно)
Вопрос - кто-то изучал подобную тему когда либо? Возможно есть какие-то наработки от которых можно было бы оттолкнуться? Готов задонатить (если есть реально что-то работающее разумеется)
Можно в лс

А не поздно начинать работу над дипломом в середине мая? Или у вас ещё год есть?

Никогда не поздно :)
Да и вуз такой, нужно просто что-то сделать, чтоб закончить магистратуру 😅
Тему давно выбрал, и в целом всякую писанину написал, но хотелось бы что-то рабочее показать на защите
И этого бы хватило, я уверен

Тогда возьмите kaggle question pairs для начала, если хотите архитектуру подобрать и отталкиваться от чего-то. Увы, с датасетами на русском языке проблема.

Хватило на что? Может кому? Не думали о том, как выгодно связать учебу и собственную мотивацию делать продукты?

Я бы с удовольствием в это погрузился, но основная работа забирает большую часть времени

Но можно соскрейпить данные с какого-либо форума или сайта с ответами. И тогда сможете сделать то что надо.

По сути просто забрать диплом и положить на полку, без особого смысла)

computer science in Russia