Но я рассудил так, что минимум ошибок, опечаток и тд пусть будет. Иначе все в ручную работу превратится

А взять эти книги в другом формате без косяков - не вариант?

Нет, к сожалению они в другом виде отсутствуют.
Не очень они популярные,  это медицинские учебники и книги.

переносы от дефисов... есть не до конца точная эвристика - число символов в строке.

Ну на вчера вполне рабочая последовательность, которую сформировал на подсказках из группы получилась, локально проверил, работает.
1. Убираю переносы
2. Добавляю вместо /n " " пробел
3. Удаляю спецсимволы
4. Удаляю стоп-слова
Пока на полном обьеме не проверял, но очевидно что это будет чище чем было)))

Всем привет!

Нейронные сети показывают очень хорошие результаты практически во всех приложениях машинного обучения. Однако нейронные сети часто делают очень уверенные прогнозы для данных, которые лежат вне выборки, или данных на границе между классами. Во многих приложениях это неприемлемо, и поэтому способность оценить степень уверенности в предсказании является крайне важной и востребованной. Однако оценка неопределенности для нейронных сетей является нетривиальной задачей, и существующие подходы демонстрируют не очень высокое качество и зачастую требуют значительных вычислительных ресурсов.

На очередном научно-техническом вебинаре, который проводит НТР совместно с Высшей IT-школой ТГУ, Максим Панов из Сколтеха расскажет о существующих подходах к оценке неопределенности, включая методы калибровки моделей, методы построения ансамблей и байесовские нейронные сети. Особое внимание будет уделено современным численно эффективным подходам на основе одной нейронной сети, не требующим построения ансамбля и существенного изменения процедуры обучения.

Когда: 7 декабря 2021, 12:00 MCK
Спикер: Максим Панов, Сколтех, Москва, Россия
Тема: Оценка неопределенности: может ли ваша нейронная сеть оценить степень уверенность в своих прогнозах?
Где:  Zoom. Ссылка на регистрацию: https://ntrlab.zoom.us/webinar/register/2816215991698/WN_hf0e_NuJTj66rPqMN86IhQ

I want to trigger this pipeline on merge from development.

Я в аналогичной задаче заменял не на пробел, а на уникальную последовательность из пары знаков - чтобы потом знать, где кончается строка.

👍

Эх, жаль, что в рабочее время

Будет запись)

если в бочку меда добавить ложку дёгтя..  Сколтех, это хорошо.

Ребят, никто не знает как отключить в токенайзере Spacy выделение отдельного токена(префикса) если перед строкой стоит не альфабетик? По умолчанию nlp("$Привет") имеет два токена [$, Привет] (мощность 2). нами ожидается получение одного токена в подобных ситуациях [Привет] (мощность 1)

Всем привет, какие есть русские language model для sentence2sentence ?

Привет!
Проще всего пофильтровать каталог huggingface по языку и типу модели 🙃
https://huggingface.co/models?language=ru&pipeline_tag=text2text-generation&sort=likes

спасибо, не знал что так можно. Но вопрос остается актуальным, хотелось бы услышать фидбек использования разных моделей

конкретизируй: какая задача, данные, ресурсы?

задача: дано tweet и label(toxic/no toxic). Нужно по заданному твиту сгенерировать reply с соответствующим лейблом
данные: неограниченное количество (ограничено количеством всех tweet-reply на русском в твитере)
ресурсы: 2x NVIDIA quadro RTX 6000 (48GB)

Любой T5, который лезет в видеокарточку, 40 строк кода, учим - смотрим, что получилось, переделываем датасет )

воможно глупый вопрос, но почему например не GPT или Bert?