Есть словари иностранных слов. Есть толково-этимологические словари. А есть ещё и историческая морфология языка. Морфология каждого конкретного языка с правилами, свойственными этому языку.

коллеги, кто-нибудь использовал deepspeed в колабе?

тут возникают трудности

При установке? Или использовании

Всем привет!
У меня есть модель BERT для классификации предложений на положительно и отрицательно окрашенные. Вопрос такой: как можно узнать, на какие именно слова обращает внимание BERT, когда выдаёт предсказание?
Например, в предложении «Это отличное кино» слово «отличное», очевидно, послужит своеобразным маячком для того, чтобы отнести это предложение к положительным. Так вот, есть ли способ выделять такие слова-маячки?

Аттеншен мапы визуализировать

Плюсую в инете есть мануалы

На буржуйском)

Можно ссылку?

Кстати какие есть самые лучшие решения для построения чат бота? Кто что использовал, и что сейчас качает в теории? Интересует так же возможность продвинутых функций общения: формировать базу знаний, в том числе относительно пространственно-временного контекста, проявление интереса к собеседнику, задавать вопросы, обсуждать известный набор знаний. Уточнять знания посредством дискуссии.

Я понимаю, что есть определённый набор моделей, которые в основном работают как seq2seq, на основе введённого запроса пользователя и некого собранного контекста общения. Есть готовые базовые решения, которые можно взять за основу и не делать с нуля? Какие у них возможности? Где взять датасет? Что вообще сейчас есть, если вот завтра начать с нуля?

Вы тут почти все юзабельное описали. Обычно подход ии+сценарии работает, а если добавить контекстуальности в рамках диалогов еще лучше, а если в кандидаты для ответа дать еще варианты от гтп2/3 еще веселее

Из коробки есть куча платформ решений,аля реплика аи - о ней есть на ютубе видео

Всем привет. Какие-то есть реализации doc2vec с возможностью обучения на GPU?

Gensim + pytorch

А можно чуть поподробнее пожалуйста. Документация возможно есть или статья?

В гугл можно найти кучу, главное поместить туда фразу выше

Коллеги, а кто как решает вопрос суммаризации больших и сверхбольших документов? У трансформеров ограничение по количеству входных токенов, когда делаешь «каскадом» суммаризацию или сумаризацию после LDA выходит не слишком результат.

Думаю над каким-то воплощением «сверх-контекста» для больших документов.