а в проде, я просто не знаю какой у вас проект и требования, обычно гпу нет. и есть cpu и тогда будет еще хуже.

у lda есть multicore, это если  генсим использовать

Вообще у моделей берта есть лимит на количество входящих токенов? Если нет, то почему вектор после 52 слов перестает меняться?

512. Потому что я выше про чанки написал. Иначе смысл говорить про длинные документы. Это тогда не длинные документы. А маленькие документы в 512

выше у вас 10 тыс слов . если вас интересует весь текст и без суммаризации то это очень грубо ~ 10k//512 раз

Ок, спасибо 👍 Пойду гуглить, переваривать)

Да не за что. Просто попробуйте , пощупайте , на практике больше понимание будет. Чем абстрактные советы от меня) ещё может быть нащупаете , что у вас весь документ , это вообще последние пару предложений важные и нужно только их эмбеддить и смотреть как хорошая аппроксимация

Да, проблема ещё в том, что нет нормальной метрики качества.. То есть заранее неизвестно, какие документы максимально похожи.. Только если каким-то чудом брать часть документа и сравнивать с оставшейся частью этого же документа, но это вообще не точно, потому что в разных частях одного и того же такста может идти речь о разных вещах

О лучше тогда с этого начать. Поскольку без понимания метрики качества непонятно что улучшать. Может все уже работает за счёт doc2vec или даже tf-idf....как идея ранжирование. используем симилярити и потом на задаче ранжирования смотрим hit@5 попал наш документ или нет. Но мне сложно сказать. Что у вас есть какой датасет. В общем желаю удачи!

Ну есть ещё такая идея из ряда бредовых))) Допустим если обученный bert считать эталоном nlp в плане восстановления слов и следующего предложения, то как один из вариантов, можно сначала каждое второе предложение в тексте заменить на предсказание бертом.. Либо то же самое делать по словам в предложениях... Таким образом получим какой-то текст, который тематически должен совпадать с исходным.. И с этим текстом сравниваем.. Таким образом идеал нашей модели - это уровень работы bert на задаче восстановления пропущенных слов/предложений... Ну это уже из ряда пятничного бреда)))

Попробуйте) ps если про задачи на которых тренировался с нуля Берт , то да их две это masking language , предсказание 15 процентов скрытого , например слов, и next sentence predictions, это про связь двух предложений. Т е. Берт не умеет генерировать целое предложение. И есть некоторые дискуссии про next sentence predictions насколько оно вообще полезно и нужно ли

А, ну как вариант тогда GPT-3 для следующего предложения)

А что вообще вы понимаете под "сходством" документов?
Если заранее неизвестно, какие документы похожи на какие, то начинать надо не с нейросетей, а с ручной разметки данных 🙃
И потом только подбирать такую метрику сходства, которая коррелирует с ручной разметкой.

Ну наверное это больше сходство ключевых слов. Поэтому я про ключевые слова и написал. То есть допустим мы сжимаем текст до ключевых фраз таким образом, чтобы при прочтении этих ключевых слов у читателя возникали ассоциации, максимально описывающие то, о чем речь в документе (статье).. И вот чтобы эти возникающие ассоциации по двум документам совпадали.. То есть из ключевых слов двух разных документов восстанавливалась примерно одинаковая картина)

Список объектов, их свойств и действий с ними в статье

Окей, если сходство основывается на ключевых словах, и документы достаточно длинные, то мой совет - отказаться от нейронок вообще. Представить документы просто как мешок ключевых слов (лемматизированных), и сходство считать как коэффциент Жакара (долю лемм, входящих в оба документа) или как косинусное расстояние между разреженными векторами с частотами слов. Готов поспорить, 80% похожих документов вы так найдёте. А эффект от оставшихся 20% вы всё равно не сможете оценить, пока не выстроите внятную систему оценки качества.

Да, согласен, это была первая мысль.. Потом что-то потянуло в сторону бертов, use и doc2vec'ов) с этого и начали, что извлекли список ключевых слов кейбертом, но он извлёк не совсем так, как планировалось.. То есть это не объекты, из свойства и действия, а просто какие-то словосочетания, которые в тексте более весомы для модели.. А нам надо, чтобы допустим есть 2 статьи, в обеих пишут о том, что взяли определённую модель, обучили, провели определённые тесты.. Но в обеих статьях обьект(модель) и действия совпадают.. Вот это максимально похожие документы)

+ , нейронки и берт он про контекст и связи, если его нет и не нужен, достаточно tf-idf   (помнится на волне ковида , многие делали поиски статей похожих, и Карпатный как всегда отличился, сделав видимо за пару часов таковой на tf-idf , который вполне себе работает)

Всем спасибо, будем разбираться в новой информации и тестить)

Нужно сделать задание по machine learning сейчас до 14:00 по мск  за денюжку, кто сможет помочь? Без библиотек, своими ручками

нужно написать перцептрон который будет обучаться на training set file потом тестировать данные из test set и выводить процент правильно классифицированных

затем читать данные от юзера и тоже правильно классифицировать

в файле трейнинг сет лежит 120 векторов 3 разных цветов Iris