только там ещё 3 пункта

агент влияет на данные, данные влияют на обучение агента, они кубырем летят в едреня

Переобучается под последний опыт? Особенно если обучающие примеры сгенерированы из распределения, заданным текущей политикой или около того (aka behavioral policy ~ agent policy)

Это наверное то же самое что и Саша написал в последнем сообщении

Т.е. experience replay бы решил эту проблему?

если в replay большинство сэмплов - за камнем, как это поможет?

Бесконечно большой наверное да + если алгоритм офф полиси, но это не точно

короче говоря, ведь именно потому exploration так важен в RL

Плюсую

Хм, видимо, нужен diverse experience replay

если что, есть штука под названием ACER (actor critic with experience replay)

кстати кто нить может код глянуть на acer, когда считаю retrace то инициализирую его value значением next_state как по идее должно и быть но acer не сходится
а когда retrace делаю ноль сходится

вдогонку ко вчерашнему обсуждению:
https://youtu.be/KZd-jkmeIcU?t=27m6s

здорово! а где-нибудь есть слайды с этой лекции?

спасибо!

Уже в этот четверг на нашем семинаре в 19:00 в ШАДе, ауд Стенфорд будет совместный спич от участников NIPS'17: Learning to Run (@fgvbrt @Parilo and @scitator)

Если у вас нет пропуска, не забудьте зарегистрироваться по ссылке до сегодняшней ночи :
https://docs.google.com/forms/d/e/1FAIpQLSd18PGkZuOqkWThJhmNxnmiSVFicnH4YwLVTCOkEkVQV6ZIDg/viewform

Вы узнаете:
- чем занимается лаборатория нейро-био-механики Стенфорда (в честь нашей аудитории)
- сколько нужно мощностей, или собери кластер в домашних условиях
- сколько можно пробежать на одной ноге
- не PPO едины
- где достать baseline для NIPS'18
- есть ли data leek в RL

Приходите, будет много, реально много разных политик ( и да, это будут бегающие человечки )

Ого, звучит ужасно интересно!

Ага! А запись будет? И если будет, то где?

Обязательно!