Вышел новый способ трекать человека в 3D пространстве. Все основано на простой идее - используем и картинку с камеры, и носимые сенсоры на руках и ногах.
Используются прикрепленные к конечностям тела
IMU сенсоры и установленная на голове камера. Камера обеспечивает шумную оценку положения и ориентации, но без дрифта (это когда со временем оценка дрейфует и становится менне точной), тогда как IMU датчики точны в краткосрочной перспективе. Такая комбинация поволяет более точно определять и трекать позицию человеческого тела без накопления ошибки. Кроме того, метод использует ограничения трехмерной сцены, такие как контакт ступней с землей, что приводит к физически правдоподобному движению.
Результаты впечатляют! Новый подход может использоваться для приложений AR/VR, где люди взаимодействуют со сценой, не требуя прямого обзора через внешнюю камеру, или для обучения агентов, которые перемещаются и взаимодействуют с окружающей средой на основе картинки от первого лица. Всё как у людей!
Подробнее
тут.