DD
Ну да, на выходе из этого последнего слоя (так называемая MLM head) Берт выдает матрицу размера seq_len*vocab_size, где для каждого входного токена дается распределение (в виде логитов) на его возмножные замены.
Size: a a a
2021 May 19
FF
А [CLS] токен используется параллельно для next sentence prediction получается. Кстати, при сложении эмбеддингов токенов в позиционными эмбеддингами, позиции считаются от [CLS] токена или от неслужебного токена?
FF
В любом случае спасибо за ответ на первую часть вопроса
2021 May 20
MA
Всем привет, какие сайты посоветуете парсить для качественного сбора датасета наподобие пикабу? важно чтобы была фича с эмоциями. Подойдут новостные сайты.
k
А почему не парсить сам пикабу?
MA
уже спарсил, у них фича с эмоциями вышла недавно, собрал небольшой датасет (около 15k) но этого не достаточно
ML
Попросить знакомых админов чатов на тему свободного общения выгрузить логи?
SM
Приходите посмотреть. В 13:55 в секции «Machine Learning» выступит Татьяна Шаврина, а в 16:05 в секции «Салют + платформы» под её же руководством пройдёт круглый стол «Генеративные языковые модели: возможности и сложности», в котором примут участие Михаил Бурцев, Григорий Сапунов, Иван Ямщиков и ваш покорный слуга. А ещё в этом круглом столе поучаствует один секретный участник 🙂
https://smartdev.ru/
https://smartdev.ru/
OR
записи будут?
SM
будут
YA
Всем привет! Такой чисто теоритический вопрос: мы знаем что в CNN первые слои выделяют более общие признаки, как углы и т.д. Верна ли такая же логика для трансформерных архитектур? Например то что первые слои выделяют признаки на уровне слов
Е
Вы сравниваете CNN для изображений и трансформеры для текстов.
Быть может уместнее сравнивать CNN для текстов с трансформерами ? В таких CNN извлекается информация из n-грамм на верхних слоях.
Быть может уместнее сравнивать CNN для текстов с трансформерами ? В таких CNN извлекается информация из n-грамм на верхних слоях.
SМ
Трансформеры выбирают оттенки смыслов относительно позиционности и тп. Чем дальше от начала находится блок трансформера (от входа) тем больше разных комбинаций оттенков мы получаем в отображении.
SМ
А теперь самое веселое, что делает visual transformer в CV?)
A
а где про это можно почитать?
SМ
На енглише или русском?)
SМ
На русском есть статья с курса deep learning на пальца Attention is all you need
FF
В статье про TinyBert (секция 4.6 Effects of Mapping Function) описывалось, что модель, которая построена из нижних слоёв трансформера справляется лучше с задачами на грамматику, в то время как модель, построенная из верхних слоёв лучше справляется с более абстрактными задачами. Так что, скорее всего, так и есть
SМ
Ее перевод https://m.habr.com/ru/post/341240/
K
Тьмы таких статей, syntactic/semantic probing of transformers, вот первая ссылка из гугла (относительно старенькая правда, 2019) https://www.aclweb.org/anthology/P19-1356.pdf