init и base коэффициенты задают скорость роста logN(s) в начале обучения и начальную точку, это явно env-dependent значения и скорее всего их просто подобрали.
It's indices in array ays.argv, and you pass zero arguments when run script. If you pass 5 of it - it will run. But 100 means that you must pass at least 100 arguments, so this make no sense.
> P(s, a) — это же стратегия Да, и совершенно непонятно, почему вероятности действий в стратегии есть смысл умножать на U. То есть рабоче-крестьянский смысл понятен, а вот строгого обоснования я не видел.