По мотивам статьи Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic из нашего списка для разбора только что вышла работа Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning https://arxiv.org/abs/1706.00387, в которой сравнивают несколько способов комбинирования лучшего от off-ppolicy и от on-policy алгоритмов.
Кажется, что еще один день нужно будет посвятить этой теме.

Ссылка на расписание https://docs.google.com/spreadsheets/d/1ZeL1_mfR1ccwKKO_ihKs6R26pqy5bsJgU_t3jJjSN5c

Ссылка на регистрацию, если у Вас нет пропуска в ШАД  https://docs.google.com/forms/d/e/1FAIpQLSd18PGkZuOqkWThJhmNxnmiSVFicnH4YwLVTCOkEkVQV6ZIDg/viewform

Вся информация о семинаре, включая рекомендации по подготовке – https://docs.google.com/document/d/1TPcOguGQHpIEsh07pK_PaKozjg-dbm8zMVZL4iM518Y

В запиненном сообщении - ссылка на форму для регистрации, если у Вас нет пропуска ШАД, но Вы бы хотели семинар посетить.
Большая просьба – заполнять эту форму не позже вечера среды.

Ссылка на мою презентацию
http://slides.com/cydoroga/rl_lecture1/fullscreen

Для желающих познать мощь q learning, кто этого еще сделать не успел:
https://arxiv.org/pdf/1312.5602

Всем привет! Презентации будут в отдельное место складываться, чтобы не искать по чату?

Надеюсь, никто не обидится - добавил в таблицу с расписанием столбец с ссылкой на презентацию. Думаю, можно туда выкладывать ссылки на презентации, расшаренные по ссылке в облаке

раз уж это RL reading group, наверное в каждой презентации делать intro to rl не обязательно

Я только за, если он будет не нужен)

Дельное замечание. В первый раз сделали, больше не будем : )

Всем, кто задал сегодня хотя бы один вопрос — 👍 👍 👍

OpenAI начал интересоваться мультиагентными системами
https://blog.openai.com/learning-to-cooperate-compete-and-communicate/

Deepmind совместно с OpenAI сделали алгоритм, который учится на основе бинарной информации о том, какой из двух эпизодов лучше.
https://blog.openai.com/deep-reinforcement-learning-from-human-preferences/
Метод позволяет просто и удобно для человека формулировать сложные функции наград

Мы начинаем раскрывать тему применения генеративных глубинных моделей и, в частности, GANов,  к задачам обучения с подкреплением. В  предстоящий четверг на семинаре Вы сможете услышать о решении задачи Imitation Learning с помощью противоборствующих сетей от Boris . Им будут освещены два (👏) свежих подхода к решению этой задачи. В конце @justheuristic также расскажет свое видение места GANов в RL. Приходите, будет интересно!

Для желающих посетить семинар и не имеющих пропуска, на всякий случай, напоминаю, что заполнить гуглоформу на разовый пропуск нужно до завтрашнего дня, то есть сегодня.

Deep reinforcement learning from human preferences https://arxiv.org/abs/1706.03741

Интересная статья от DeepMind и OpenAI о том как тренировать агента с помощью человека делающего бинарный выбор

Добавлю, что пост выше ровно об этой же статье.

упс, пропустил

а есть ещё какая-то возможность получить пропуск?