Больше ссылок по VAE:

https://towardsdatascience.com/intuitively-understanding-variational-autoencoders-1bfe67eb5daf
https://arxiv.org/pdf/1606.05908.pdf
https://jaan.io/what-is-variational-autoencoder-vae-tutorial/
http://anotherdatum.com/vae2.html
https://vxlabs.com/2017/12/08/variational-autoencoder-in-pytorch-commented-and-annotated/

Если что, ближайший семинар - сегодня.

Поговорим про генеративные модели и боль.

Приходите в ШАД к 19

Задачки на доп баллы machine translation workshop:

- сделать логирование лосса на train и valid в tensorboard / visdom
- сделать логирование BLEU на valid в tb/vis
- обучить ru_en модель (данные тут: https://translate.yandex.ru/corpus?lang=en)
- попробовать другие attention
- подобрать гиперпараметры (тип RNN (GRU/LSTM/QRNN/SRU), число слоёв, размер hidden, …)
- не использовать for в generate_sent_masks
- исправить косяки es_en датасета
- сделать не .split()-токенизацию, а что-нибудь более адекаватное (spacy, nltk)
- использовать BPE-токенизацию
- сделать char-embeddings
- обучить толстую модель с большим количеством данных (есть корпус чешский-английский на несколько Gb тут http://www.statmt.org/wmt16/translation-task.html)
- обучить модель с маленьким количеством данных (Wiki Headlines на том же сайте), попытаться заставить её работать хотя бы как-нибудь
- написать early-stopping
- заюзать superconvergence learning rate scheduling
- попробовать другой способ инициализации весов (kaiming / critical iticialisation из Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs)
- …

Если сделаете что-нибудь из этого, пишите мне в лс

Отличный kernel с описанием pytorch.ignite - абстракции для training loop, которой иногда не хватает.

Решил поковырять ignite для уменьшения лапши и унификации пайплайна для train loop. Запилил кернел на текущем kaggle, может кому будет полезно. Код причесать толком не успеваю до конца соревнования, поэтому выкладываю как есть:  https://www.kaggle.com/protan/ignite-example. На ЛБ сейчас даёт 0.84681

Спасмибо тем студентам, что кидают полезные ссылки в чатик. Вы 🔥

Sebastian Raschka, судя по всему, в фоновом режиме пишет книгу по Deep Learning, и по ней есть интересные материалы на его сайте, по реализации различных вариантов MLP/CNN/AE/VAE/GAN на PyTorch/Tensorflow, думаю будет полезно иметь такую ссылку - https://sebastianraschka.com/deep-learning-resources.html

Андрей сдался и вернулся с медиума на свой блог. Я пока не прочитал, но его статьи всегда крутые.
Если вы не знаете, кто такой андрей - то недавно он рассказывал о том, как они делают self-driving в Tesla.

Напоминаю всем, что завтра с 12 до 6 работаем в ШАДе над проектами.

Для тех, кто делает default final project:

1. Инструкции: http://web.stanford.edu/class/cs224n/project/default-final-project-handout.pdf
1. Репозиторий, в котором за вас написано уже много кода: https://github.com/chrischute/squad

Всё задание по машинному переводу сдавать в бот как задачу 4.1

#допдня

Parameter-Efficient Transfer Learning for NLP, Houlsby [Google], 2019

Статья о том, как заменить файнтюнинг толстого берта на обучение маленьких адаптеров между слоями берта. Зачем? Чтобы обучать не сотни миллионов параметров, а сотни тысяч и получать такой же скор.

https://arxiv.org/abs/1902.00751

Если вы уже делаете проект или выполняли задание на машинный перевод, наверняка вы путались в том, за что отвечают размерности теноров. HarvardNLP нашёл этому решение - namedTensor и рекомендует всем его использовать

http://nlp.seas.harvard.edu/NamedTensor.html

Вышел PyTorch 1.1. Много вкусных фич: экспериментальная поддержка Tensorboard, nn.MultiHeadAttention, max теперь возвращает NamedTuple, туториалы по ModelParallel

iPavlov – проект лаборатории нейронных систем и глубокого обучения МФТИ по созданию разговорного ИИ. Проект проводит исследования в области нейросетевых архитектур для диалоговых систем и машинного обучения и разрабатывает DeepPavlov – открытую библиотеку для быстрого создания виртуальных ассистентов и анализа текста.

11 мая c 13:30 до 14:30 команда исследователей iPavlov выступит в Space c воркшопом, где расскажет о разных компонентах DeepPavlov, state-of-the-art-моделях и возможностях их обучения.

Спикеры: Михаил Архипов, Юра Куратов, Мария Вихрева, Диляра Баймурзина, Леонид Пугачев, Владислав Лялин.

Все на DataFest :parrot: 🦜

Сегодня получается так, что у меня будут office hours (правда скорее hour). Записывайтесь в табличку, если хотите помощи по проекту / совета

https://docs.google.com/spreadsheets/d/1O8CrqyZGkroZoC8ALTkvYlcd-Mt2agFodA-ibSGdBpA/edit?usp=sharing