A
ну а сначала суммаризировать — не варик?
Size: a a a
2021 April 09
IG
Воообще, например, это нужно чтобы книжки суммаризовывать. Только тут остаётся вопрос, зачем кому-то суммаризовывать книжки :)
ni
лучшая суммаризация книжки это ее заголовок)
A
часто получается что нет. и заголовки повторяются част
Е
Скорее краткое описание
IG
А так есть архитектуры, заточенные на более-менее длинные тексты, типа Longformer. А для супер-длинных текстов можно разные иеарархические модели использовать.
FF
Ну по сути лонгформер просто отодвигает проблему не на n первых токенов, а на например 2*n
IG
В любом случае, тут надо от задачи отталкиваться. Для суммаризации книг, например, совершенно точно нужно разные варианты иерархий использовать. Ну то есть условно "страница -> глава -> книга". Для страниц какая-нибудь supervised суммаризация, для остальных уровней unsupervised из того, что получилось на предыдущем уровне. Либо end-to-end иерерхическая модель, если данных прям много.
DD
А что ты хочешь с этими новостями делать-то?
Сложно рекомендовать метод векторизации в отрыве от задачи.
Сложно рекомендовать метод векторизации в отрыве от задачи.
FF
Кластеризовать
IG
для кластеризации как раз не нужны целые новости
IG
там в конце обычно не влияющий на кластеризацию бэкграунд
AA
А можно вопрос к Илье про Толоку для телеграма, определение тематик новостей: если не секрет, какой объем удалось разметить и во сколько это обошлось по деньгам и по времени?
IG
В первом раунде "потратили 60$ на всё." В последующих чуть больше, но точно меньше 300$ на каждый. По времени что-то не очень большое, условно 10-20 человеко-часов на раунд.
AA
а за 60$ сколько размеченных примеров получается? Там, вроде одно задание 1 цент минимум
IG
в задании 10 примеров, при перекрытии в 5 толокеров получаем 120 страниц, то есть ~1200 уникальных примеров.
IG
с меньшим перекрытием кратно больше примеров
IG
ой, порядком ошибся
IG
1200 страниц и 12к примеров
IG
ну и никто 1 цент не платит, мы платили 2