A
классификатор и теггер натренил на синтетических данных, которые сгенерил через RiveScript
Size: a a a
2019 December 27
A
результат меня пока устраивает
A
теперь вот смотрю в сторону генерации
V
ну в смысле я не прикрутил. Я взял flair, сделал language model, натренил ее на яндексовском датасете
А можете поделиться ссылкой на этот датасет? Не встречал от Яндекса
A
и я вроде вчера скидывал свой код, который его приводит в вид, удобный для обучения
A
https://github.com/aragaer/human2pa/blob/flair/human2pa/tlk.py - тут функции, которые скачивают, распаковывают, расковыривают и сохраняют в виде текста
V
Спасибо, поизучаю)
A
идея - а если сделать через автоэнкодер? человеческий текст -> выделить интент и параметры -> переписать в виде входных данных для генератора -> сгенерить и сверить с оригиналом
VB
Вот ещё любопытное к вчерашнему эпичному обсуждению
SP
Коллеги, у меня есть большой датасет (на самом деле понятно, что почти бесконечный при необходимости) с рецептами (это два-три параграфа) , и есть тексты (статьи) в которых я должен находить рецепты. Не очень понимаю с какой стороны подступиться к этой задаче.
SP
То есть у меня была идея сделать с Flair некое облако векторов, и прверять каждый параграф текста в статье на совпадение с центром этого облака.
SP
Но я смутно понимаю, что скорее всего уже решалась подобная задача проще.
D(
Коллеги, у меня есть большой датасет (на самом деле понятно, что почти бесконечный при необходимости) с рецептами (это два-три параграфа) , и есть тексты (статьи) в которых я должен находить рецепты. Не очень понимаю с какой стороны подступиться к этой задаче.
Ты можешь взять произвольный корпус текстов в качестве отрицательных примеров, а рецепты в качестве положительных. И обучить любой текстовый классификатор отличать рецепты от нерецептов. В качестве единицы классификации можно взять предложение или абзац.
YB
Коллеги, у меня есть большой датасет (на самом деле понятно, что почти бесконечный при необходимости) с рецептами (это два-три параграфа) , и есть тексты (статьи) в которых я должен находить рецепты. Не очень понимаю с какой стороны подступиться к этой задаче.
Размечай с помощью ner продукты, дозировки и действия (взбить, перемешать, добавить). Где есть продукты, дозировки и действия -- там рецепт, особенно, когда весь абзац про это.
SP
Размечай с помощью ner продукты, дозировки и действия (взбить, перемешать, добавить). Где есть продукты, дозировки и действия -- там рецепт, особенно, когда весь абзац про это.
Вот это путь в никуда, так у меня сейчас работает.
YB
Размечай с помощью ner продукты, дозировки и действия (взбить, перемешать, добавить). Где есть продукты, дозировки и действия -- там рецепт, особенно, когда весь абзац про это.
Упрощение -- классификатор, соответственно, он сам внутри себя разметит слова
YB
Вот это путь в никуда, так у меня сейчас работает.
А что не так?
SP
я сделал частотный анализ уникальных слов в рецептах - но в статьях часто упоминается один-два иyгрдиента или действия.