Size: a a a

2019 February 12
DL in NLP
Ещё один курс от нашей лаборатории! Уникальный в своём роде, таких курсов по миру не больше десятка. Пока заточен на физтехов, но записи будут доступны.
источник
DL in NLP
Переслано от Evgeniy Golikov
15-го февраля на физтехе стартует курс по теоретическому дип-лёрнингу. Курс читается лабораторией нейронных систем и глубокого обучения МФТИ. Домашки, презентации и видеозаписи лекций будут доступны всем, но сдавать могут только студенты МФТИ. Предполагаются базовые знания матана и линала (SVD, дифференцирование по матрицам), знакомство с дип-лёрнингом (вы не первый раз обучаете сетку на мнисте, знаете, что такое бэтчнорм и резнет; прекрасно, если периодически читаете свежие статьи). Гитхаб курса: https://github.com/deepmipt/tdl
источник
2019 February 13
DL in NLP
#допдня Так как мы с вами потихоньку начинаем говорить про нейросети, предлагаю освежить свои знания по линейным моделям. И предлагаю сделать это с помощью статьи из отличного курса по классическому ML от Open Data Science.

https://habr.com/post/323890/

И отличная статья про полносвязные нейронные сети, очень рекомендую к прочтению, она небольшая.
(В названии есть слово convolutional, но она не про свёртки, так что обязательно читайте уже сейчас)

http://cs231n.github.io/neural-networks-1
источник
2019 February 14
DL in NLP
Всем привет. Сегодня собираемся в ШАДе, в аудитории Оксфорд в 19 часов. Вас опять много, это очень круто, но все зарегистрировавшиеся не поместятся. После долгих раздумий, принято следующее решение: вы можете прийти на семинар и воркшоп на этой неделе, если выплонено хотя бы одно из условий:
1. вы уже были на первом семинаре
1. вы успели заполнить форму 12 февраля (а не 13) и вы собираетесь ходить и на семинары и на воркшопы

В будущем пустим всех зарегистрировавшихся, это правило только для этой недели.
источник
DL in NLP
Схема прохода.

Нужно будет показать паспорт на КПП, а потом зайти в дверь слева от шлагбаума.
источник
2019 February 15
DL in NLP
#Задание к третьему семинару

1. Лекция 5 курса cs231n (не cs224n): https://youtu.be/gYpoJMlgyXA
1. Quiz 3: https://goo.gl/forms/0dVAtBdUUmeJU7NB2
1. Опционально лекция 4 курса cs231n: https://youtu.be/i94OvYb6noo

Квиз очень большой, но можно изменять ответы после отправки формы.
источник
2019 February 16
DL in NLP
OpenAI вчера зарелмзил новую статью и её результаты весьма удивляют. Подход «больше данных, больше слоёв», кажется начал работать в NLP.
Запасаемся видеокартами и деньгами на Google Cloud.

На картинке пример обусловленной генерации текста.

https://blog.openai.com/better-language-models/#sample8
источник
DL in NLP
источник
DL in NLP
Всем привет. Сегодня у нас с вами первое практическое занятие. Встречаемся там же, правила прохода те же. Время: с 12 до 18.

Не забудьте ноутбуки, их зарядки и документы для охраны.
источник
DL in NLP
Для тех, кто ботает удалённо, будет пост в 12. С заданием и всем остальным.
источник
DL in NLP
Пароль к WiFi Guests:
artyomovsky
источник
DL in NLP
Первая половина задания. В течение часа должен завести бота для его сдачи. Поехали.

Submission instructions в первом задании для нас нерелевантны. Просто ноутбук взят от Стэнфорда.
источник
DL in NLP
Сегодня в ШАДе кроме нас ещё много школьников. У школьников есть переменки и хозяюшкам яндекса будет очень неудобно, если в эти переменки мы тоже будем выходить на кофепоинт.
Пожалуйста, находитесь в аудитории в следующее время: 13:15-13:30, 15:00-15:15, 16:45-17:00 и 18:30-19:00

Кроме этого тем, кто будет приходить, лучше пользоваться раздевалкой, которая около кофепоинта, а не на входе.
источник
DL in NLP
Более правильная ссылка на датасет для word2vec: http://mattmahoney.net/dc/text8.zip

Чтобы не нужно было парсить XML
источник
2019 February 20
DL in NLP
Полное задание воркшопа по эмбеддингам. Дедлайн по 3+ задачам продлён до 23:59 6 марта.
источник
2019 February 23
DL in NLP
Сегодняшние #допдня
Очень хорошая лекция по регуляризации нейросетей, слегка устарела, но введение всё равно отличное
https://youtu.be/Zz98nDE5b8E

Оригинальная статья по batchnorm:
https://arxiv.org/abs/1502.03167
Свежая статья по batchnorm с матаном и всем тем, что вы любите
https://arxiv.org/abs/1805.11604

Глоссарий терминов ML
https://clck.ru/FFZ2x
источник
2019 February 24
DL in NLP
Посмотрев в чатик увидел много хороших вопросов по word2vec
Можем разобрать их на семинаре в четверг
источник
2019 February 28
DL in NLP
Всем привет, сегодня у нас с вами третий семинар
Подробнее разберём бэкпроп, поговорим о важности инициализации, способах оптимизации и вообще много о чём

Приходить на семинар могут все, кто заполнял форму в ШАД
источник
DL in NLP
Запись второго семинара:
https://youtu.be/92Ctk9OzlDg
источник
2019 March 04
DL in NLP
#Задание к четвертому семинару:

1. Лекция 8 полностью https://youtu.be/Keqep_PKrY8
1. Лекция 9 (с 41 минуты) https://youtu.be/QuELiw8tbx8?t=2471
1. Квиз будет доступен чуть позже
источник