Спасибо всем за ответы

При правильном подходе word2vec умеет даже таблицу Менделеева воссоздать: "Unsupervised word embeddings capture latent knowledge from materials science literature", doi:10.1038/s41586-019-1335-8,  https://github.com/materialsintelligence/mat2vec

Да, ни секунды в нём не сомневался

Спасибо, помогло разобраться

Всем привет! Подскажите, пожалуйста, готовый код какого-нибудь генератора, для подачи в НС, большого объема текстовых данных частями.

Марк, привет.
Погугли streaming iterable dataset. Там примеры есть точно.

Антон, привет. Спасибо!

Коллеги, а есть такой аналог коллаба чтобы можно было все как в коллабе, но только если закрыл вкладку оно продолжило выполняться ?))

У Яндекса такой есть: https://cloud.yandex.ru/services/datasphere

колаб про)

ML Space ещё можешь попробовать

*Exclusive session with Certification by TechLearn on :*🥳

*Netflix Recommendation-How do they know what you like?*🔥

Recommendation algorithms are at the core of the OTT platforms. They provide users with personalized suggestions to reduce the amount of time/frustration to find something great content to watch. Because of the importance of such recommendations, OTT platforms like Netflix continually seek to improve them by advancing the state-of-the-art in the field.

👉Register at: DM me for registration  link

*What you’ll learn in this live session?*
1. What is Natural Language processing
2. Natural Language Processing applications
3. What is Data Processing
4. Types of Data processing
5. What is a recommendation system
6. Types of recommendation system


🗓️ *Date:* *24th and 26th November, 2021*
⏰ *Time:* *7:00 pm- 8:30 pm*

*Features:*                                                                                    
-Shareable Certificate📜
-Instant doubt resolution🙋‍♂️
-Practice Material📝

📩 Session Link will be mailed to you on your registered mail ID on the day itself.

гхм, у меня коллаб про. но что-то как я хочу не работает)

Спасибо попробую, еще не щупал.

поправочка, колаб про+ имеет работу в фоне, а колаб про нет 🤭

Всем привет. А не подскажите, что использовать для задачи STS на русском? Что-то не могу найти ничего.

именно датасетов с градациями не встречал, а вот бинарных датасетов перефраз предостаточно

я в теории даже готов вложиться в русский sts :)

для понимания, о чём вообще речь https://aclanthology.org/S17-2001.pdf

Из датасетов - парафразер-точка-ру (http://paraphraser.ru/download) и переведённый sts-b https://huggingface.co/datasets/stsb_multi_mt

Из моделей - детектор парафраз DeepPavlov (http://docs.deeppavlov.ai/en/master/features/overview.html#ranking-model-docs,  и мой порт его  на торч - https://huggingface.co/cointegrated/rubert-base-cased-dp-paraphrase-detection), классификатор парафраз Алёны Феногеновой (https://huggingface.co/alenusch/par_cls_bert), моя модель NLI, которую можно запустить в двух направлениях и перемножить скоры (https://huggingface.co/cointegrated/rubert-base-cased-nli-twoway). Ну и косинусная близость LABSE, USE, LASER и прочих хороших sentence encoder'ов.

Привет! Есть задача восстановления input'а (на вход трансформеру поступает input, а именно какие-то последовательности событий, output должен быть равен input), какую метрику оценки взять для этого? Хочется пробовать изначально на маленьком количестве данных, чтобы отсекать сразу архитектуры, которые плохо потенциально будут работать на большом объеме данных