Телеграмм чат группы dlinnlp страница 10

Через неделю, 4 апреля у на следующий семинар. По, наверное, самой сложной теме всего курса sequence-to-sequence моделям и attention-механизму.

Вот #задание к шестому семинару:

Для подготовки к нему посмотрите вот эту лекцию cs224n:
https://youtu.be/7m6noV5-l1E

Также обязательно прочитайте и разберите вот эту статью:
https://clck.ru/FQ8gR

Квиз будет доступен позже

YouTube

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 8 – Translation, Seq2Seq, Attention

Professor Christopher Manning & PhD Candidate Abigail See, Stanford University http://onlinehub.stanford.edu/ Professor Christopher Manning Thomas M. Siebel ...

источник

214815:23пожаловаться #7

2019 March 24

DL in NLP

Себастиан Рудер выложил свой PhD thesis по transfer learning в NLP. Возможно, это хороший способ, чтобы подробно разобраться в теме.

https://twitter.com/seb_ruder/status/1109519529498107906

Twitter

Sebastian Ruder

My PhD thesis Neural Transfer Learning for Natural Language Processing is now online. It includes a general review of transfer learning in NLP as well as new material that I hope will be useful to some. https://t.co/PxfVRYuyjx

источник

241617:46пожаловаться #8

2019 March 26

DL in NLP

Всем, кто хочет утвердить проект перед началом напсания project proposal (а также просто позадавать вопросы по NLP). Завтра я выделю один час специально под созвоны с вами. Давайте выберем его в doodle.
Пожалуйста, указывайте свой telegram в голосовании.

https://doodle.com/poll/twbdeekp63wgvpqb

источник

170113:02пожаловаться #9

DL in NLP

dlinnlp

Понял, что не писал про дефолтные темы проектов здесь. Они уже есть вместе с рекомендациями по выбору проекта и с требованиями к project proposal.
Смотрим @17 в Piazza.

источник

196413:06пожаловаться #10

2019 March 27

DL in NLP

Всем привет! Обсуждения проектов состоятся с 17 до 18 часов. Если кто-то хочет встретиться лично, я буду в Яндексе до 21.

Постараюсь быстро созвониться со всеми. Пожалуйста, заполните свои telegram-ники, для созвона в этой табличке.
https://clck.ru/FS47E

Google Docs

Office hours

Лист1

Дата,Время,@telegram,Статус
27.03.19,17:00
27.03.19,17:05
27.03.19,17:10
27.03.19,17:15
27.03.19,17:20
27.03.19,17:25
27.03.19,17:30,@mfside
27.03.19,17:35
27.03.19,17:40,@someotherusername
27.03.19,17:45,@noomckalb
27.03.19,17:50,@Cookie_thief
27.03.19,17:55,@sir_dobson2
27.03.19,18:00,@k...

источник

183414:35пожаловаться #11

DL in NLP

Сегодняшний #допдня

Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)
https://clck.ru/FS497

jalammar.github.io

Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)

May 25th update: New graphics (RNN animation, word embedding graph), color coding, elaborated on the final attention example.

Note: The animations below are videos. Touch or hover on them (if you’re using a mouse) to get play controls so you can pause if needed.

Sequence-to-sequence models are deep learning models that have achieved a lot of success in tasks like machine translation, text summarization, and image captioning. Google Translate started using such a model in production in late 2016. These models are explained in the two pioneering papers (Sutskever et al., 2014, Cho et al., 2014).

I found, however, that understanding the model well enough to implement it requires unraveling a series of concepts that build on top of each other. I thought that a bunch of these ideas would be more accessible if expressed visually. That’s what I aim to do in this post. You’ll need some previous understanding of deep learning to get through this post. I hope it can be a useful companion to reading the papers mentioned…

источник

223114:37пожаловаться #12

2019 March 30

DL in NLP

Всем доброе утро! Сегодня Language modelling workshop. Время и место стандартно: с 12 до 18, Оксфорд, ШАД.
С вами будет Алексей Сорокин, заваливайте его вопросами.
Задание будет в канале ближе к 12.

источник

185708:51пожаловаться #13

DL in NLP

language_modelling_workshop.zip

(6.84 Кб)

Задание language modelling workshop

источник

212611:08пожаловаться #14

2019 March 31

DL in NLP

Всем, кто ещё выбирает проекты / думает, какими методами решать его задачу:
https://paperswithcode.com/area/nlp

Paperswithcode

Papers with Code - Natural Language Processing

Browse 265 tasks • 100 datasets • 587

источник

217816:09пожаловаться #15

2019 April 03

DL in NLP

Ребят, извините, но квиз по машинному переводу будет доступен только завтра.
Ничего не поделаешь - #жизньболь

источник

148121:05пожаловаться #16

2019 April 04

DL in NLP

Квиз по машинному переводу:
(Вы можете отвечать на русском на вопросы с полями ввода)

https://forms.gle/z2iHCPva76Si4qVe6

Google Docs

NLP. Quiz 6

Neural Machine Translation and Models with Attention

Some questions can be not mentioned in the lecture explicitly, but you can still use logic and google.

источник

146309:57пожаловаться #17

DL in NLP

Всвязи с задержкой квиза, дедлайн будет продлён до релиза записи семинара.
Возможность модифицировать _уже отправленные_ ответы будет закрыта за час до семинара.

источник

149016:16пожаловаться #18

DL in NLP

Attention and Augmented Recurrent Neural Networks

#допдня - хороший пост рассказывающий про attention.

distill.pub/2016/augmented-rnns/

Distill

Attention and Augmented Recurrent Neural Networks

A visual overview of neural attention, and the powerful extensions of neural networks being built on top of it.

источник

157816:52пожаловаться #19

DL in NLP

На всякий случай напоминаю: сегодня в 7 семинар
Разбираем машинный перевод и attention - одну из центральных тем в NLP
Приходите - будет интересно

Место проведения стандартное: ШАД, Оксфорд

источник

153317:19пожаловаться #20