Завтра можем поговорить про unsupervised машинный перевод

вот эти три статьи:
Word Translation Without Parallel Data, Conneau, 2018 https://arxiv.org/pdf/1710.04087.pdf
Unsupervised Machine Translation With Monolingual Data Only, Lample, 2018 https://arxiv.org/abs/1711.00043
Phrase-Based & Neural Unsupervised Machine Translation, Lample, 2018 https://arxiv.org/abs/1804.07755

ключевая статья, пожалуй, вторая - её прочитать обязательно
остальные тоже весьма желательно

Ещё одна статья по совету @rugged_monk

On the Limitations of Unsupervised Bilingual Dictionary Induction, Søgaard, 2018

https://aclweb.org/anthology/papers/P/P18/P18-1072/

Хорошо дополняет первую статью из списка (а ещё к ней есть видео!).

Завтра проводим занятие по машинному переводу без параллельных корпусов. Время и место стандартные.
Квиза нет, но разберите статьи всё равно 🙏
Приходите, задавайте вопросы по проектам

Всем привет!
11 числа (в эту субботу) дедлайн по project milestone. Вы можете использовать late days на него, для этого напишите мне заранее.

Треования и советы по подготовке milestone: http://web.stanford.edu/class/cs224n/project/project-milestone-instructions.pdf

TL;DR

0. Примерный объём: 2-4 страницы
1. Title, team members (не забудьте указать ваш telegram), abstract (motivation, aims, contribution и main findings)
“Given that your project is still a work-in-progress, it’s OK if ‘your contribution’ and ‘your findings’ are things you’re still working on.” (c)
2. Approach
 - architecture
 - baseline или чужие метрики на этой же задаче, если baseline time consuming
 - ссылки на чужой код, который вы используете
 - если в вашем подходе есть что-то новое, подчеркните это.
3. Experiments:
 - описание датасета (со ссылками), если ваша задача не определяется однозначно по датасету - опишите её
 - evaluation method: описание метрик и неочевидных моментов о том, как вы их считаете
4. Results:
 - прокомментируете ваши метрики, ожидали ли их их такими высокими/низкими, почему по вашему мнению они такими получились, что они говорят вам о том, что нужно делать дальше
 - обязательно, если ваши метрики не очень высокие: training curves: графики лосса и метрик (и train и valid)
 - qualitative evaluation: опционально
5. Future work: коротко опишите, что вы ещё собираетесь сделать до дедлайна

Готовый PDF milestone назвать соответственно вашему проекту и выслать на nlp_course@ipavlov.ai
Пожалуйста, сдайте первую версию как можно раньше! Удачи 🙃

Форма для вопросов к сегодняшнему семинару. За хорошие вопросы будем давать баллы.

https://forms.gle/afAinGTutBgmtkCGA

До семинара остались считанные часы, если вы не можете прочитать статьи - вот вам видео =)

1968 год, Стругацкие описывают содержание типичной статьи  об обучении нейронок на Медиуме

https://telegra.ph/Skazka-o-trojke-05-09

Боги халявы говорили сегодня со мной ночью. На milestone разрешается использовать не до 3, а до 5 late days.

И, кстати, в этот четверг будет интересное занятие. Подробности позже.

В этот четверг, 16 мая, будет приглашённая лекция с сотрудниками Яндекса.
Расскажут про NLP-задачи в таких продуктах, как Алиса, Переводчик и Клавиатура.

Приходите все, будет интересно.

RNN ⚰️

Всем привет!
Сегодня у нас с вами скорее всего последняя лекция.
Ребята из Яндекса расскажут о применении NLP у себя в проде.

Квиза нет, подготовительных материалов тоже. Так что ничего делать не надо)
Приходите - будет интересно. Время и место стандартные.

И ещё немного про Яндекс.
Как вы знаете, у них есть подразделение самоездящих повозок, которые уже умеют ездить по городу и даже катали людей по Сан-Франциско на CES 2019 (видео: https://www.youtube.com/watch?v=gfWjsKsEry0)

Так вот, их команда проводит Self-Driving Meetup 8 июня. Прямо в своём гараже, где они разрабатывают машины.
Для прохождения на него нужно подать заявку и решить задачку.

https://taxi.yandex.ru/action/ysdm_m

Good news everyone!
Проскорил квизы. Оценки есть во вкладке Quizzes в таблчке с рейтингом.

Если вы не видите себя - скорее всего вы не указывали свой никнейм peer_review_bot в квизах. Пишите мне свой email и ник.

https://docs.google.com/spreadsheets/d/1KNsZcAFNREdOxmnbrqq6G9oiBvG7bPAL439m4jIYePE/edit?usp=sharing

Запись лекции про unsupervised machine translation
https://youtu.be/Chj8yTm5eGk

Напоминаю, что сегодня последняя в этом запуске лекция. Приходите!

Тут Google опять немного сошёл с ума. И решил делать перевод из аудиозаписи в аудиозапись end-to-end. То есть одна нейросетка, получающая на вход аудио на одном языке и выдающая аудио на другом.
https://ai.googleblog.com/2019/05/introducing-translatotron-end-to-end.html

Input (Spanish)

Reference translation (English)