Size: a a a

RL reading group

2020 June 15

EZ

Evgenii Zheltonozhsk... in RL reading group
Звучит логично
источник

TA

Timur Akhtyamov in RL reading group
Hi! Can you please send a new invitation? This one has expired
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Cherry Pie
Всем привет!
В статье https://arxiv.org/abs/2006.05990 пишут, что tanh(Normal(mu, sigma)) изменяет распределение (то есть density function), но на градиенты это не влияет (страница 15). Разве это верно?
Можешь в @rumath спросить ещё
источник

CP

Cherry Pie in RL reading group
Evgenii Zheltonozhskii🇮🇱
Звучит логично
не очень понял. У них расписана плотность p_u(u), а потом написано, что log(tanh'(x)) does not affect policy losses. Почему он не них не влияет? Должен же
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Cherry Pie
не очень понял. У них расписана плотность p_u(u), а потом написано, что log(tanh'(x)) does not affect policy losses. Почему он не них не влияет? Должен же
Ну х не функция от теты
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Только от u
источник

CP

Cherry Pie in RL reading group
Как раз x функция от теты
x = sample(p_theta)
источник

AK

Arseny Kuznetsov in RL reading group
Что-то не очень понятно что там написано. Если мы сэмплируем с репараметризацией, то x конечно зависит от теты.
источник

CP

Cherry Pie in RL reading group
Arseny Kuznetsov
Что-то не очень понятно что там написано. Если мы сэмплируем с репараметризацией, то x конечно зависит от теты.
Я тоже так понимаю
источник

AK

Arseny Kuznetsov in RL reading group
А где можно посмотреть на страницу 15?
источник

CP

Cherry Pie in RL reading group
В статье, я прикрепил ссылку на архив
источник

AK

Arseny Kuznetsov in RL reading group
Там 11 страниц.
источник

CP

Cherry Pie in RL reading group
Кек, не ту ссылку прикрепил
Вот та: https://arxiv.org/abs/2006.05990
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Cherry Pie
Как раз x функция от теты
x = sample(p_theta)
x = arctanh(u), а u это параметр функции, просто точка где мы считаем плотность
источник

S

Sebastian in RL reading group
Timur Akhtyamov
Hi! Can you please send a new invitation? This one has expired
источник

TA

Timur Akhtyamov in RL reading group
Thank you!
источник

CP

Cherry Pie in RL reading group
Evgenii Zheltonozhskii🇮🇱
x = arctanh(u), а u это параметр функции, просто точка где мы считаем плотность
Ну у них обозначения u = tanh(x)
источник

AK

Arseny Kuznetsov in RL reading group
Они рассматривают PG лоссы, там нет репараметризации, и этот член в таком случае действительно от теты не зависит.
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Cherry Pie
Ну у них обозначения u = tanh(x)
arctanh*
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Ничего не меняется ведь в утверждении
источник