Много мусора

надо делать какое-то правило, а хочется обойтись без правил, идея с классификатором - попробую, но может что-то уже более высокоуровневое есть.

уже есть эмбединги параграфов, например

сделать что-то на основе косинусной близости

Ну можешь для начала попробовать логрег поверх них

можно подробней?

У тебя есть какая-то функция, которая берет параграф и возвращает его эмбеддинг, верно?
Возьми много параграфов-рецептов, и много параграфов-нерецептов (если нет примеров нерецептов - возьми Тайгу или любой другой корпус), извлеки из них эмбеддинги, они будут твоей единственной фичой. И по этой фиче учи логрег отличать рецепты от нерецептов.

Посоветуйте пожалуйста, чем сгенерить синтетический датасет?
Тексты по шаблону формата субъект-действие(связь)-объект.
Хорошо бы при этом сохранить стиль исходного корпуса (юридические, строительные документы со своеобразным стилем) и чтобы сгенерированные тексты отличались разнообразием.
Цель - нет возможности размечать датасет для выделения семантических связей, сущностей - хочу синтезировать и обучить на этом модель.

как-то так - есть тройка понятий, связанных
мама--имеетСпособностьМыть--рама.
все сущности имеют writenRepresentation и какой-то синсет
мама : [мама, мать],
рама : [рама, окно],
имеетСособностьМыть : [мыть]
Видится что должно быть как-то так:
1. нагенерить по шаблонам предложений: мама мыла раму, моет мама раму, рама мамой моется.
2. какой-то моделькой "украсить" текст. Чтобы "мама мыла раму" стало "мама рано утром эротично мыла тряпкой раму на радость папе")
Текст по шаблонам - что-то видел, но не нашел. Вроде тут кто-то давал ссылку на свой репозиторий - тоже не нашел.
Украшательства текста. Тут GPT-2 справится?

я бы просто rivescript-ом нагенерил фраз

Текст по шаблонам хорошо грамматиками генерить. Если с толком написать, получится богато)

а он сможет? когда-то давно был контрибьютором этого проекта и если у них ничего не поменялось - у них движок правил на конечных автоматах (с синтаксисом из ChatScript - проекта из 90х) и вроде всё. Нет?

Как бы мне по-быстрому запилить прототип, чтобы за день протестить идею? Вроде ты ссылку скидывал на свой репозиторий?

Ну вот тут я nltk'шную CFG  юзаю
https://github.com/avidale/arxivarius

спасибо

ну да, но для генерации фраз для синтетического набора данных мне этого вполне пока хватает

ну то есть как - у меня райвскрипт используется для того, чтобы взять входную "базовую фразу" и выдать что-то соответствующее по одному из подготовленных шаблонов. Отдельные куски вставляются/меняются рандомом, поэтому из 100 вызовово получаются 100 разных фраз.

А там как с русским сейчас? Можно подать 3 леммы и чтобы он их согласовал как-нибудь?

я сам согласовывал в свое время

то есть я к нему относился именно как к генератору, который в определенных местах с разными вероятностями возьмет разные ветки строк