Некоторые задачи обработки естественного языка, например, суммаризация или ответы на вопросы, требуют использования информации из удаленных друг от друга мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим размером входного текста. Юрий Землянский из Университет Южной Калифорнии, Лос Анжелес, с соавторами предложили решение этой проблемы с помощью полупараметрического метода извлечения и представления информации из текста. Этот метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. На очередном
научно-техническом вебинаре НТР и HITs ТГУ Юрий расскажет про модель и то, как они применяли ее на задачах с вопросами по целым книгам (
https://aclanthology.org/2021.naacl-main.408) или с вопросами по всей Википедии (
https://arxiv.org/abs/2110.06176 )
Когда: 23 ноября 2021, 18:00 MCK
Спикер: Юрий Землянский, Южно-Калифорнийский университет, Лос-Анджелес, Калифорния, США
Тема: Полупараметрические методы извлечения и представления знаний из текста
Где: Zoom. Ссылка на регистрацию:
https://us02web.zoom.us/webinar/register/2816215991698/WN_pXuiKazKROu67FVdqcfo9A