@vgrebenyuk для вакансий по теме есть канал @datasciencejobs

Спасибо

Привет, пожалуйста подскажите, какими либами(python)/api можно провести синтаксический разбор предложения? Нужно к примеру выделить подлежащее и сказуемое

udpipe, stanza, natasha/deeppavlov, даже spacy теперь

но всё в формате UD вроде

спасибо!!

Все же не знаю как решить задачу: есть наим. продукции, типа "Смеси щебеночно-песчаные габбро", как с этого предложения извлечь слово "смеси", или например "Каркасы и сетки арматурные плоские, собранные и сваренные", слово которое нужно извлечь - "каркасы и/или сетки", пробовал через spicy(чекал .dep_ каждого слова на предмет ROOT), не вышло, может кто решал похожую задачу?

Всем доброе утро!
Подскажите, пожалуйста, знаком ли кто-нибудь с практиками суммаризации больших текстов?
Все практики, которые нашла связаны с небольшими последовательностями - короткими новостями.

о, подключаюсь к вопросу

Для начала надо определиться, что такое "суммаризация" и что такое " большой текст".
Разные задачи, разные методы.
Структурный реферат, продающий анонс, тематическая, акторная или эмоциональная аннотация.

Тут можно посмотреть подходы: https://paperswithcode.com/task/text-summarization

И на Архиве ещё были публикации суммаризации больших статей - на датасете научных статей о ковиде.

Да, можно реферировать научные статьи, или "Войну и мир"?
Интервью, федеральный закон, постановление суда.
Жанр текста, и цель реферирования?

Цель более важна. Отразить содержание или отличие от других.

Большой текст - многостраничный текст, в среднем 5-7 страниц печатного текста, более 1000 слов

Это документ, в котором есть действующие лица, есть описание действий, которые они совершали

нужно коротко, без воды сделать «пересказ», что-то вроде topic sentence + пара пояснительных предложений на каждое действие, совершенное лицами

Текст не художественный и не научный, формальный, ближе к юридическим текстам с отсылками на законы, указанием действующих лиц и прочим

У Экслера был хороший пример про "Однажды в Америке" - история про еврейскую мафию в Нью-Йорке оибо история про дружбу, любовь и предательство

Обычно есть структура, характерная для предмптной области.
Разбивается на структурные элементы, внутри классика.

Все сидит в конце концов на двух вещах: ограниченности размера кратковременной памяти (7+-2) и макроконцептах/ темах.

Спасибо, часть из них видела уже
Конкретно рассматривала PEGASUS от гугла, но на русских текстах (видела одну попытку воспроизведения), вывод крайне не связный
И тренировка исходной модели была тоже на статьях новостей, которые малых размеров

Внутри классика - это что Вы имеете в виду? Суммаризация аналогичная новостным статьям?

Структура не выдержана во всех документах, в части можно разделить на функциональные блоки, в части - нет

Есть запрос на подачу всего текста на вход и получения выжимки, как аннотации к научным статьям, для таких случаев, когда выделить блоки нет возможности

То есть более общее описание происходящего, не настолько детальное, как в текстах с возможностью выделения блоков