1) ручное разбивание книг на цитаты, классификация на примерах на какой вопрос какой цитатой отвечать. это простой путь но требует много времени на разметку.

2) перетренировать имеющуюся модель языка (gpt2, bert) так, чтобы при ответе она получала больше бонуса если ее ответ имеет близкое совпадение с книгой. но все еще высок шанс что сеть тупо выберет 1 цитату и будет ее пихать везде. для защиты от этого придется делать и обратный процесс - давая цитату из книги которую выбрала первая сеть угадать (на высоком уровне) содержание вопроса который был задан. Это очень сложный путь.

Всем привет! Я хочу развиться в NLP, реализовать кое-какие свои проекты. В активе - пара курсов по Python, есть склонность к математике и языкам. Можете посоветовать какие-то курсы, чтобы максимально быстро достичь уровня среднего участника этого чата?

Может, пригодится параллельный корпус? Точно есть материалы на финском и python tools :) http://opus.nlpl.eu/

Спасибо за ссылку! Да, я собирался этот ресурс использовать (open subtitles, Tatoeba). Но перед тем, как выдавать фразы, было бы хорошо выдавать отдельные слова для изучения, а в этом ресурсе словаря вроде бы нет.

А если вот такую штуку для word translation попробовать: https://github.com/facebookresearch/MUSE? (только учусь, так что не знаю, насколько это дельный совет, good luck ✨)

Спасибо! Правда в этой штуке (если я правильно понял) нет sense-ов, поэтому не уверен, что получится приспособить.

Курсов сами по себе без практики пользы много не приносят, надо с проектов начинать. Можно в каком-нибудь проекте с открытым кодом поучастовать.

Коллеги, кто-то longformer на русском пробовал обучать? Какой токинайзер брали?

Не согласен, что нужно начинать с проектов. В лучшем случае будет ничего не понятно

Бери любую книгу по nlp и читай

Можешь посмотреть записи лекций по грамматикам и машинному обучению из топовых вузов

Спасибо, Николай! А можете сориентировать где можно такие проекты искать? В частности что-то хоть отдаленно похожее на мою задачу - генерацию constrained writing текстов на родном языке?

Спасибо, Иван! Да, думаю ВШЭ и/или МФТИ мне подойдёт

Мне лекции Сорокина из МФТИ понравились (по формальным грамматикам)

https://github.com/huggingface/transformers/issues/6045 надо протестировать использование памяти в bart

help wanted стоит

Привет.
Есть джавовые бибилиотеки для работы со словами языка? например деление на морфемы
И прикол в том что надо ещё возможность задать свой язык и обучить систему своими данными

https://github.com/minimaxir/textgenrnn можно ещё посмотреть, но там автор загрустил что-то

Привет.
Не могли бы вы, пожалуйста, подсказать, какие есть библиотеки помимо Natasha, dateparser и rutimeparser для извлечения и, самое главное, нормализации временных конструкций?

Pullenti