Телеграмм чат группы dlinnlp страница 11

202523:13пожаловаться #1

2019 April 06

Kindly напоминаю всем, что через неделю дедлайн по project proposal
Это означает, что его уже пора бы сдать - не ориентируйтесь на дедлайн. В день дедлайна проверить успею не всех.

Для оформления советую использовать шаблон Style and Template for Preprints (arXiv, bio-arXiv) с Overleaf

139020:29пожаловаться #2

Style and Template for Preprints (arXiv, bio-arXiv).zip

(6.93 Кб)

Шаблон
Лучи добра @egshes за него

143920:29пожаловаться #3

Видео с прошедшего семинара по машинному переводу

https://youtu.be/xVd6ExG-s1g

Seminar 6. Attention! Machine translation

Main topics:

Seq2seq architecture
Teacher forcing
Bottleneck problem
Attention

Presentation: https://docs.google.com/presentation/d/1E-aFgtdDonlgu78a8aiEy4oKmrKlNStEJprkAhEpD34/edit?usp=sharing

Latest course updates and insights: https://t.me/dlinnlp

Vladislav Lyalin, iPavlov

163921:55пожаловаться #4

2019 April 07

Discussions:
Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments)

Translations: Chinese (Simplified), French, Japanese, Korean, Russian, Spanish

Watch: MIT’s Deep Learning State of the Art lecture referencing this post

In the previous post, we looked at Attention – a ubiquitous method in modern deep learning models. Attention is a concept that helped improve the performance of neural machine translation applications. In this post, we will look at The Transformer – a model that uses attention to boost the speed with which these models can be trained. The Transformers outperforms the Google Neural Machine Translation model in specific tasks. The biggest benefit, however, comes from how The Transformer lends itself to parallelization. It is in fact Google Cloud’s recommendation to use The Transformer as a reference model to use their Cloud TPU offering. So let’s try to break the model apart and look at how it functions.

The Transformer was proposed in the paper Attention is…

#Задание к следующему семинару
Изначально мы планировали разобрать на нём только transformer, но попробуем захватить ещё и BERT.

Прочитать / просмотреть:
1. Illustrated Transformer jalammar.github.io/illustrated-transformer/
1. Часть лекции Stanford по Transormer и BERT https://youtu.be/S-CspeZ8FHc?t=2818

Статьи:
1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Davlin et al., 2018

Сделать квиз:
https://forms.gle/6mAu3bQ4CCQTQ5338

Дополнительно:
1. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
1. The Annotated Transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
1. Attention Is All You Need, Vaswani et al., 2017

jalammar.github.io

The Illustrated Transformer

203813:22пожаловаться #5

2019 April 08

@peer_review_bot обновился
Во-первых, теперь он знает про третий воркшоп и вы можете сдавать задания 🎉
И исправленные некоторые другие баги

175411:13пожаловаться #6

2019 April 10

Спасибо всем, кто уже прислал project proposal. Вы крутые! Отвечу всем сегодня-завтра.

141611:26пожаловаться #7

TensorFlow: A proposal of good practices for files, folders and models architecture

Для тех, колике начал делать проекты:
Советую оформлять репозиторий согласно этой статье
Вне зависимости от того, пишете вы на tf или pytorch. https://blog.metaflow.fr/tensorflow-a-proposal-of-good-practices-for-files-folders-and-models-architecture-f23171501ae3

metaflow-ai

Designing the right file architecture is not straightforward in Machine Learning. After struggling on that question for a few projects of…

190611:28пожаловаться #8

2019 April 12

Те, кто занимаются gendered pronoun resolution в качестве проекта, могут бесплатно продлить себе дедлайн по PP (тк у них дедлайн соревнования на этой неделе). Но для этого нужно написать мне сегодня.

126413:09пожаловаться #9

По proposal видно, что не все читали требования к нему.

Частые ошибки:
1. Отсутствуют полные имена и/или telegram-ники авторов
1. Отсутствует research paper summary - вы должны выбрать одну статью и подробно разобрать её.
1. Отсутствует описание задачи, которую вы решаете. “Попробовать различные способы аугментации” - это не задача. “Применить методы аугментации для question answering на датасете SQuAD” - это задача.
1. Отсутствует датасет - то, что вы хотите делать unsupervised модель, не означает, что вам не нужен датасет. Выберайте что-то более конкретное - википедия, common crawl, openwebtext. Всё то же самое относится к supervised задачам в удвоенном объеме. Если у вас нету размеченного датасета, то уже нужно его собирать / иметь парсер.
1. Отсутствует автоматическая метрика. Метрика должна быть. Хотя бы BLEU / перплексия, если у вас генеративная задача.
1. Длинный introduction / related works - это не обязательно делать для proposal.
1. Описание экспериментов, которые вы хотите сделать не обязано быть развёрнутым. “Попробовать улучшить результаты BERT Large с помощью ансамблирования” - валидное описание.

http://web.stanford.edu/class/cs224n/project/project-proposal-instructions.pdf

136814:30пожаловаться #10

Небольшие изменения расписания: на следующем семинаре обсудим question answering.
Семинар будет довольно слабо пересекаться с лекцией, поэтому просмотрите её особенно внимательно и заготовьте вопросы.

#Задание

Лекция стенфорда: https://youtu.be/yIdF-17HwSk
Квиз: (будет позже)

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 10 – Question Answering

Professor Christopher Manning, Stanford University
http://onlinehub.stanford.edu/

Professor Christopher Manning
Thomas M. Siebel Professor in Machine Learning, Professor of Linguistics and of Computer Science
Director, Stanford Artificial Intelligence Laboratory (SAIL)

To follow along with the course schedule and syllabus, visit: http://web.stanford.edu/class/cs224n/index.html#schedule

To get the latest news on Stanford’s upcoming professional programs in Artificial Intelligence, visit: http://learn.stanford.edu/AI.html

To view all online courses and programs offered by Stanford, visit: http://online.stanford.edu

141717:37пожаловаться #11

Просьба для удобства проверки высылать ваши .pdf на nlp_course@ipavlov.ai с темой Project Proposal

138518:37пожаловаться #12

И видео со вчерашнего семинара:
Спойлер: BERT разобрать так и не успели

https://youtu.be/YQZRsowJZA8

184518:40пожаловаться #13

2019 April 13

OpenAI’s mission is to ensure that artificial general intelligence benefits all of humanity.

OpenAI играет в доту
Прямо сейчас
https://www.twitch.tv/openai

Twitch

OpenAI - Twitch

236921:50пожаловаться #14

2019 April 14

Всем привет
Дедлайн по воркшопу продлевается до 23:59 17 апреля
Всем, кто выслал proposal, отвечу до четверга

182512:15пожаловаться #15

2019 April 15

Промежуточный опрос о курсе

Буду очень рад, если вы заполните промежуточный опрос о курсе. Насколько были сложные задания, что не нравится в организации итд.

https://forms.gle/pjDXbbom9DFEuVv3A

Google Docs

180613:06пожаловаться #16

2019 April 16

Question answering

Some questions can be not mentioned in the lecture explicitly, but you can still use logic and google.

Всем доброе утречко,
Квиз к семинару по QA подъехал
https://forms.gle/A5B1nBqAWToQws2eA

Дополнительные моменты по подготовке к семинару:
1. Повторите BERT
1. Прочитайте Bidirectional Attention Flow for Machine Comprehension
1. Прочитайте FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension

Google Docs

NLP. Quiz 8

173309:49пожаловаться #17

2019 April 17

https://twitter.com/rasbt/status/1118002146937643009

Twitter

Sebastian Raschka

A great GitHub repository with tutorials on getting started with PyTorch and TorchText for sentiment analysis in Jupyter Notebooks. What a great resource! https://t.co/XSoUIwwYJ8

161221:15пожаловаться #18

2019 April 18

dlinnlp

Небольшие изменения расписания: на следующем семинаре обсудим question answering.
Семинар будет довольно слабо пересекаться с лекцией, поэтому просмотрите её особенно внимательно и заготовьте вопросы.

#Задание

Лекция стенфорда: https://youtu.be/yIdF-17HwSk
Квиз: (будет позже)

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 10 – Question Answering

Professor Christopher Manning, Stanford University
http://onlinehub.stanford.edu/

Professor Christopher Manning
Thomas M. Siebel Professor in Machine Learning, Professor of Linguistics and of Computer Science
Director, Stanford Artificial Intelligence Laboratory (SAIL)

To follow along with the course schedule and syllabus, visit: http://web.stanford.edu/class/cs224n/index.html#schedule

To get the latest news on Stanford’s upcoming professional programs in Artificial Intelligence, visit: http://learn.stanford.edu/AI.html

To view all online courses and programs offered by Stanford, visit: http://online.stanford.edu

Всем привет!
Напомнинаю, что сегодня у нас семинар по QA

Дообсудим BERT, по-быстрому разберём QA и будем отвечать на ваши вопросы

Лекция стенфорда: https://youtu.be/yIdF-17HwSk
Квиз: https://forms.gle/A5B1nBqAWToQws2eA

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 10 – Question Answering

Professor Christopher Manning, Stanford University
http://onlinehub.stanford.edu/

Professor Christopher Manning
Thomas M. Siebel Professor in Machine Learning, Professor of Linguistics and of Computer Science
Director, Stanford Artificial Intelligence Laboratory (SAIL)

To follow along with the course schedule and syllabus, visit: http://web.stanford.edu/class/cs224n/index.html#schedule

To get the latest news on Stanford’s upcoming professional programs in Artificial Intelligence, visit: http://learn.stanford.edu/AI.html

To view all online courses and programs offered by Stanford, visit: http://online.stanford.edu

147814:32пожаловаться #19

На охране проблема со списками
Я её решаю