вариантов не много, зависят от того, что хочется. Возможные:
1. Находишь игру похожую ломаешь/другой способ достать данные + интерфейсы возможные для управления средой (запуск и прочее)
2. Находишь игровой движок. Тоже самое, ток проектируешь игру, далее тоже самое по большому счету
3. Занимаешься строгим мат-моделированием. Описываешь все кинематическими уравнениями и проч. Оборачиваешь в окружение, дальше тож самое

Unity ml-agents. Там есть набор сред и возможность новые создавать.

Pybullet, на нем даже есть переписанные gym env-ты
Достаточно прост в освоении

Pybullet топ тема, согласен.

Спасибо большое

Humanoid с прилепленной одной ногой к длинной тележке звучит очень круто)

Это должно быть в первом приближении даже просто, можешь написать в ЛС, если не очень понятно

Google AI Blog: Pathdreamer: A World Model for Indoor Navigation
https://ai.googleblog.com/2021/09/pathdreamer-world-model-for-indoor.html?m=1

Для разработки своих сред мб и норм, но гонять эксперименты на pybulet для статей не советую, в частности mujoco там плохое, не стабильные результаты, это все таки рл, от среды многое зависит

open sim

А что значит mujoco там плохое?

там среды не аналогичны

не аналогичны платному mujoco? работают немного иначе при прочих (агентах/алгоритмах) равных?

да, даже имплиментация стетов и ревордов и экшенов может разниться

Та реализованы среды из mujoco,типо гуманоида и тд. Представляется как open source mujoco, но от mujoco результаты сильно отличаются. + То что работает в статьях для mujoco далеко не всегда заработает в pybullet. Ну и сравниваться сложно, все репортят mujoco, чтоб сравниться надо  и чужие методы тщательно гонять на pybullet

Правда возможно мой опыт уже не актуален и они все пофиксили. Год точно не трогал pybullet

вроде все так же

https://arxiv.org/abs/2005.12729 я пытался повторить эксперименты этой статьи, результаты где-то отличались. Это в какой-то мере подтверждает их главный посыл, в какой-то нет)

А, если речь о том, что нельзя сравнивать результаты полученные на разных симуляторах, то, конечно,  нельзя ни в коем случае