SP
В longformer это на уровне двух уровней внимания реализовано.
Size: a a a
2021 February 28
VR
Вопрос сразу как данную саммаризацию надлежит использовать, какие перед ней задачи и кто её конечный потребитель, человек или машина
AW
Коллеги, а кто как решает вопрос суммаризации больших и сверхбольших документов? У трансформеров ограничение по количеству входных токенов, когда делаешь «каскадом» суммаризацию или сумаризацию после LDA выходит не слишком результат.
А не вариант сформировать средний документ через вектора и его скормить?
SP
Вопрос сразу как данную саммаризацию надлежит использовать, какие перед ней задачи и кто её конечный потребитель, человек или машина
Честно говоря исследовательский интерес в первую очередь. Хочу summary всех книг, которые ещё не прочёл)
SP
А не вариант сформировать средний документ через вектора и его скормить?
Что вы имеете в виду? В целом «средний документ» можно получить разными методами. Интересно применить именно модели с глубоким вниманием к «контексту» языка.
SP
На уровне статей - все ясно.
D
В гугл можно найти кучу, главное поместить туда фразу выше
Нашёл только решения для предобученных моделей. А мне нужно обучать с нуля. Может кстати есть какие-то полезные статьи для обучения моделей doc2vec.
AW
Что вы имеете в виду? В целом «средний документ» можно получить разными методами. Интересно применить именно модели с глубоким вниманием к «контексту» языка.
Идея говно, но
Берём среднее количество токенов по всем текстам
Представляем тексты в виде векторов
Берём центроиды текстов + окрестность (эмпирически)
По ним ещё раз строим новый текст который кормим трансформеру
Сейчас пока писал понял что скорее всего это будет не читаемо, сорри за спам
Берём среднее количество токенов по всем текстам
Представляем тексты в виде векторов
Берём центроиды текстов + окрестность (эмпирически)
По ним ещё раз строим новый текст который кормим трансформеру
Сейчас пока писал понял что скорее всего это будет не читаемо, сорри за спам
AW
Danila Milovanov
Нашёл только решения для предобученных моделей. А мне нужно обучать с нуля. Может кстати есть какие-то полезные статьи для обучения моделей doc2vec.
Doc2vec слабые резы даёт
D
А какие есть ещё варианты? Мне нужно обучить модель на большой выборке документов, и когда я буду давать в инпут модели какие-то вектора, нужно получать наиболее похожие документы, на которых обучалась модель.
D
Что-то типа most_similar из gensim.
FF
Danila Milovanov
А какие есть ещё варианты? Мне нужно обучить модель на большой выборке документов, и когда я буду давать в инпут модели какие-то вектора, нужно получать наиболее похожие документы, на которых обучалась модель.
Тут нужен любой sentence encoder и similarity search
FF
Например faiss или annoy для ss и use в качестве энкодера.
D
Спасибо большое, гляну в эту сторону. Если у кого есть ещё предложения, напишите пожалуйста, рассмотрю всё возмножное
FF
Например faiss или annoy для ss и use в качестве энкодера.
Создаём базу векторов документов в ss и находим ближайшего соседа для произвольного вектора
D
Создаём базу векторов документов в ss и находим ближайшего соседа для произвольного вектора
Спасибо
2021 March 01
KL
друзья, я правильно понимаю, что Наташа умеет делать из Кирюши Кирилла, или нет? (
A
Danila Milovanov
Спасибо большое, гляну в эту сторону. Если у кого есть ещё предложения, напишите пожалуйста, рассмотрю всё возмножное
Делаешь многоступенчатую суммаризацию. На каждом этапе важно выбрать необходимые параметры генерации.
Чтобы не было одинаковых текстов сортируешь их по близости, используя тот же USE.
Чтобы не было одинаковых текстов сортируешь их по близости, используя тот же USE.
AP
друзья, я правильно понимаю, что Наташа умеет делать из Кирюши Кирилла, или нет? (
Звучит так что после Наташи Кирюша вступает во взрослую жизнь
KL
не без этого) чет я расстроился, похоже, нет ничего готового, придется работать