Не-а, всё рассказанное формально относится к внутренней мотивации. Про счётчики - мы от них оттолкнулись в конечных MDP, ещё я, возможно, упоминал вскользь, что можно в принципе в качестве обобщения генеративную модель на повстречавшихся состояниях строить, но на результаты этой статьи не смотрели.
Не-а, всё рассказанное формально относится к внутренней мотивации. Про счётчики - мы от них оттолкнулись в конечных MDP, ещё я, возможно, упоминал вскользь, что можно в принципе в качестве обобщения генеративную модель на повстречавшихся состояниях строить, но на результаты этой статьи не смотрели.
А про упоминавшуюся вскольз статью, можете прислать ссылку?
Про прямое обобщение счётчиков обычно ссылаются на вот эту статью https://arxiv.org/pdf/1606.01868.pdf хотя она скорее про оценку плотности, нежели прям про генеративную модель (нам, конечно, в первую очередь интересна плотность). Если я правильно понимаю, то вот статью, на которые выше ссылку кинули https://arxiv.org/abs/1908.02388 о том, как этот подход ещё побольше на Атари позапускали и сравнили с алгоритмами из рассказа.
Вообще я бы продавал не книгу, а свои консультации. То есть прямо в книжке в каждой главе внаглую пишешь: консультация по этой теме стоит $100/h, а вот по той — $50/h, потому что экспертности поменьше, и я не на bleeding edge of current research.
@Shmuma А на русском обещают выпустить какое из изданий?
Первое. Но издательство (питер) уже полгода мусолят с переводом. Присылают на вычитку какую-то хрень, я ее заворачиваю, они снова присылают. В таком режиме с ноября перевели 2/3 книги, к лету закончат, видимо