спасибо)

https://youtu.be/-KzvHc16HlM вот ещё неплохое выступление, где как раз говорится про REINFORCE, его недостатки, дискретные переменные и зачем нужна гумбелевская релаксация

https://arxiv.org/abs/1803.05649 и ещё в дополнение ко второй статье доклада считаю уместным добавить по возможное использование Sylvester Normalizing Flows, которые выучичают f(x)=x+g(x), что могло бы более консервативно менять пространство состояний, более стабильно выучивать политику поверх политики и настакивать normalizing flows большей глубины

Можно ещё блог мой почитать
http://artem.sobolev.name/

Правда, про продвинутые REINFORCE методы я так и не написал

👍

а каждую неделю семинар есть или по мере появления готовых докладчиков?

Хотелось бы, чтобы эти две вещи друг другу не мешали.

На эту неделю докладчика нет и поэтому завтра семинара НЕ БУДЕТ

Очень надеюсь, что со следующей недели мы сможем наладить еженедельные выступления.

Хочу еще добавить, что выступать всегда полезно самому выступающему. Не стесняйтесь!
Если вы сами не можете разобраться в статье, выбрать статью, пишите сюда или в личку мне или другому участнику группы. Вместе может быть проще разобраться и посмотреть на вопрос шире.

Пишите мне о своем желании выступить и том, с какой статьей, если вы ее выбрали, либо выберем вместе.

В ближайшее время мы постраемся сделать табличку, где можно будет записаться просто внеся себя и название выбранной статьи в нее. Плюс там будет список с актуальных на данный момент статей

А можно ли посмотреть на вашу реализацию софт актор критика? Со всеми вот этими фишками, про которые вы на семинаре рассказывали?

есть официальная версия

мы кучу всякого после нипса выложим

А я вроде нашёл на гитхабе у @rl_agent

Собственно, большое спасибо и моё увожение

Там для дискретных действий, в ней не очень много смысла. Для continuous будет позже.

А вот выложили код той статьи, где робот повторял трюки за человеком!
https://twitter.com/xbpeng4/status/1051880967814574087

коллеги, в это воскресенье будет DS QA в Я и даже будет секция про RL, соответственно, если у вас есть интересные RL вопросы (а может и ответы) - напишите в форму
https://docs.google.com/forms/d/e/1FAIpQLSfFmiNtcxBKoKEUB_PLb6ie0D5PqO1T2-8OFqTSfEW45cW7Pw/viewform?usp=sf_link

tnx

PS. только давайте в одну форму по одному вопросу/ответу, ибо иначе каша

Будет семинар сегодня или нет?

может быть кто то может порекомендовать имплементацию SAC на пайторче? буду благодарен

На этой неделе семинара не будет
Сорри за такую нестабильность в частоте семинаров, но опыт показывает, что лучше не делать, чем делать абы как.
Со следующей недели семинары начнутся точно.
Если не будет непредвиденных накладок, то мы все же сделаем их еженедельными.
Спасибо за понимание.