Телеграмм чат группы dlinnlp страница 12

На охране должны начать пускать
Если не пускают, пишите @dropout05

145718:53пожаловаться #1

2019 April 19

#допдня всем, кто занимается style transfer
Очень советую использовать результаты этой статьи для оценки качества вашей модели

arxiv.org/pdf/1904.02295.pdf

118016:17пожаловаться #2

Опрос о занятиях на майские:
Посмотрим какому числу людей это интересно

https://forms.gle/xpsbZJrDBt2S1cL28

И напоминаю про промежуточный опрос о курсе. Пожалуйста, кто его ещё не прошёл - пройдите. В особенности, если вы перестали ходить на курс.

https://forms.gle/pjDXbbom9DFEuVv3A

Промежуточный опрос о курсе

126516:27пожаловаться #3

Ответили всем по project propoasl

Баллы за него есть в этой табличке.
Если вы не можете найти себя, пишите на nlp_course@ipavlov.ai

Если название вашего проекта указано неправильно - тоже пишите

https://docs.google.com/spreadsheets/d/1KNsZcAFNREdOxmnbrqq6G9oiBvG7bPAL439m4jIYePE/edit?usp=sharing

Grades

username,quizzes,workshops,final project,total
Orion,20,42,00,40,102
someotherusername,21,42,25,32,95,3
yagudinamir,17,37,50,40,94,5
Mogbymo,19,34,78,40,93,8
konarkcher,18,37,33,37,92,4
Rexhaif,18,37,43,36,91,5
shes,17,34,29,40,91,3
Lightingale,19,35,25,37,91,3
andrewsg,17,32,92,40,90
sof...

Rating Spring 2019

129119:49пожаловаться #4

2019 April 20

Напоминаю, что сегодня в 12 у нас воркшоп

121710:33пожаловаться #5

Для тех, кто в теме: `kotelnikovo`

122811:29пожаловаться #6

DL in NLP Spring 2019. Classification

Итак, наш last workshop начинается

В этот раз у вас одно из двух заданий на выбор:
Kaggle: https://www.kaggle.com/c/dlinnlp-spring-2019-clf
Или простое задание по машинному переводу от Сэнфорда (оно сильно проще наших обычных домашек)

Kaggle’ры будут оцениваться по ранкам:
top5 людей получают 10 баллов
top10 получают 9 баллов
и так до 5 баллов
Превзойти CNN-бейзлайн обязательно

что-то вроде этого, я ещё точно не придумал 😁

Kaggle

Train a clickbait detector

135112:07пожаловаться #7

machine_translation_workshop.zip

(14.75 Мб)

140312:10пожаловаться #8

https://xkcd.com/1576/

xkcd

I Could Care Less

148217:18пожаловаться #9

2019 April 21

Main topics: BERT Question answering over text Attention flow Presentation: https://docs.google.com/presentation/d/1LX9HC0q4OtYUYnYF6Jt_tmDhPU6sLnFir3Y7ghJ5K...

Видео четвергового семинара по BERT и QA
(будет доступно по этой ссылке, когда YT его дообработает)

https://youtu.be/99CymZY-4Tc

YouTube

Seminar 8. Question answering

129713:34пожаловаться #10

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 15 – Natural Language Generation

#Задание к следующему семинару
На следующей неделе поговорим про генеративные модели для текста.

Видео cs224n: https://youtu.be/4uG1NMKNWCU
Видео cs231n: https://youtu.be/5WoItGTWV54 - оно про изображения, но общая теория пересекается с текстами

Квиза, возможно, не будет, но будет много доп материалов. Обязательно прочитайте / просмотрите как можно больше из них. Тема очень объемная и разобрать всё подробно мы не успеем.

YouTube

Professor Christopher Manning & PhD Candidate Abigail See, Stanford University
http://onlinehub.stanford.edu/

Professor Christopher Manning
Thomas M. Siebel Professor in Machine Learning, Professor of Linguistics and of Computer Science
Director, Stanford Artificial Intelligence Laboratory (SAIL)

To follow along with the course schedule and syllabus, visit: http://web.stanford.edu/class/cs224n/index.html#schedule

To get the latest news on Stanford’s upcoming professional programs in Artificial Intelligence, visit: http://learn.stanford.edu/AI.html

To view all online courses and programs offered by Stanford, visit: http://online.stanford.edu

136315:26пожаловаться #11

Наверняка, кагглится лучше всего в 11 часов вечера
Поэтому добавил в соревнование толстую пачку неразмеченных данных - ULMfit и друзья вам в помощь

129323:13пожаловаться #12

2019 April 22

Всем привет, в течение ближайших нескольких дней вам начнут писать менторы (либо мы просто огласим списки). Было бы хорошо, чтобы у вас уже были бы какие-нибудь результаты - например первичный анализ данных и бейзлайны.

121015:20пожаловаться #13

Papers with Code - Generating Sentences from a Continuous Space

#допдня по генеративным моделям:

Generating Sentences from a Continuous Space, Bowman et al. [Google Brain], 2016
Авторы обучили вариационный автокодировщик (VAE) на предложениях, рассказали как это делать (там есть несколько хаков для обучения, без которых ничего не работает). После чего показали возможность семплирования предложений и интерполяции между предложениями в получившемся bottleneck-пространстве VAE.

Завтра будет статья по продолжению этой идеи дальше - ещё одна причина её прочитать)

https://paperswithcode.com/paper/generating-sentences-from-a-continuous-space

Paperswithcode

Implemented in 11 code libraries.

152715:30пожаловаться #14

2019 April 23

Второй #допдня по генеративным моделям

Toward controlled generation of text, Hu et al. [CMU], 2017

Авторы используют VAE и схему генератор-дискриминатор (но это не ган☝️) и внедряют в латентное пространство категориальную переменную, которая позволяет контролировать какой-то параметр текста (время, эмоциональная окраска, …).

arxiv.org/abs/1703.00955

124517:22пожаловаться #15

TensorFlow: A proposal of good practices for files, folders and models architecture

Так как многие уже начали делать проекты, напоминаю ещё раз про то, как примерно рекомендуется оформлять свой код. Лушче завести репозиторий пораньше, чем слишком поздно.

A proposal of good practices for files, folders and models architecture: https://blog.metaflow.fr/tensorflow-a-proposal-of-good-practices-for-files-folders-and-models-architecture-f23171501ae3

TL;DR

- data
- notebooks
  - 0_data.ipynb
  - 1_my_first_experiment.ipynb
  - 2_some_other_strange_notebook_name.ipynb
- my_project_name
  - models
  - trainutils.py
  - datautils.py
  - utils.py
- config.py
- run.py
- README.md

metaflow-ai

Designing the right file architecture is not straightforward in Machine Learning. After struggling on that question for a few projects of…

155021:09пожаловаться #16

2019 April 25

(Не)квиз на сегодняшний семинар

Задавайте вопросы по лекции. За хорошие вопросы накинем баллов.

https://forms.gle/QyVsF4vreaaE8ocT8

Generative models

Some questions can be not mentioned in the lecture explicitly, but you can still use logic and google.

NLP. Quiz 9

111712:51пожаловаться #17

dlinnlp

Промежуточный опрос о курсе

И ещё раз напоминаю об опросах (будем ли встречаться на майские и промежуточный о курсе). Пожалуйста, если ещё не сделали - сделайте 🙃
Квизы закроются сегодня за час до семинара

110213:13пожаловаться #18

An Adversarial Review of “Adversarial Generation of Natural Language”

#допдня - довольно хороший (хотя и набрасывающий на вентилятор) пост на медиуме про самую первую статью по GAN в текстах.

https://medium.com/@yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7

Medium

Or, for fucks sake, DL people, leave language alone and stop saying you solve it.

116713:18пожаловаться #19

A brief introduction into variational autoencoders.

Ещё один #допдня, который планировалось запостить пораньше (но всякое бывает).

A brief introduction into variational autoencoders
Мы сегодня будем затрагивать VAE, неплохо было бы разобраться в том, что это такое до семинара. Они были в лекции cs231n, но мне кажется, чтобы понять VAE одного описания недостаточно.

За ссылку спасибо @labdmitriy

http://bjlkeng.github.io/posts/variational-autoencoders/

Bounded Rationality

Variational Autoencoders