Попробуй LaBSE

Ещё бы ОЕЯ было, вообще красота была бы

Коллеги, добрый день! Вопрос по поводу корпусов, которые представлены здесь https://github.com/natasha/razdel/tree/master/data. Что касается разделения на предложения - согласно каким гайдлайнам тексты были разделены на предложения именно таким образом? UD?Заранее большое спасибо.

Дорогие друзья, хотела бы поделиться с вами новостью по поводу NLP.

В прошлом году в Масдар-Сити в Абу-Даби открылся первый в мире исследовательский университет искусственного интеллекта - the Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) - который предлагает программы MS и PhD в Machine Learning, Computer Vision и Natural Language Processing.

Все студенты получают 100% стипендию, которая покрывает затраты на учебу, проживание, перелеты, визу, медицинскую страховку + 2100/2700 USD ежемесячная стипендия. Вступительная заявка бесплатная + никаких обязательств перед университетом по окончании учебы.

Сейчас там обучается 86 студентов из 31 страны, 3 студентов из России. Подробнее почитать можно здесь: http://iie.ru/mbzuai.htm

какие инструменты посоветуете для рерайта текста?

Тож присоединяюсь к вопросу. Можно ли обучить модель чтобы она с одного изложения перешла на литературный например или технический.

Это называется unsupervised text style transfer.
В целом эта задача не до конца решённая наукой (точнее, решённая, но весьма херово).
Из статей, в которых адекватные методы предлагаются, мне нравится вот эта: Reformulating Unsupervised Style Transfer as Paraphrase Generation https://arxiv.org/abs/2010.05700
У них выложен код, можно воспроизвести.

речь наверное по сео рерайт, чтобы дурить поисковики, что контент уникальный

А что это меняет?

если так, то слышал, что сеошники переводят текст на другой язык и обратно на него же гугл транслейтом

скажите, есть ли какие-то системы выстраивания диалога с пользователем? контекст нейронки могут понимать?

у меня есть задача принимать от пользователя текст в свободной форме на определенную тему и доспрашивать то, что пользователь забыл указать

В большинстве случаев работает плохо. Либо грамотность теряется, либо уникальности никакой.

это всё, что надо знать про сео

)))

https://github.com/luofuli/DualRL реализация

кстати никто не пробовал работать с текстом как с картинкой? в плане что перевести векторное представление в картинку и потом совать в stylegan условный. Последний вполне себе умеет в трансформацию стиля и мб будет лучше.

Да, эта реализация тоже прикольная. Но авторы сами пишут, что она сложноватая: "Although pre-training and annealing pseudo teacherforcing are effective, they make the training process complicated.".
Ну и главная предъява к этому подходу (и аналогичным) в том, что в нём нет никаких средств для сохранения смысла предложений - и, что самое обидное, авторов это даже не парит.
Например, текст "Moving past the shape, they were dry and truly tasteless" они перефразируют как "Moving past the shape, they were tasty and truly delicious.". "Сухие и бесвкусные" переделывают во "вкусные", и считают, что это норм.

Ну потому что задача скорее на понимаю машиной текста, с чем до сих пор все плохо

https://github.com/p-kar/text-style-transfer-gan я нашел но папера нема(

С текстами гораздо сложнее. В картинке можно несколько пикселей перекрасить, да хоть вообще цвета инвертировать - и содержание картинки в целом сохранится.
А в текстах можно заменить пару слов, и смысл текста станет противоположным, или вообще пропадёт.