Да. И мы возвращаемся к тому, как оцифровать "опыт взаимодействия со столом". Кажется, пока никак.
Я допускаю, что получив аналогичный человеческому мозгу инпут, сеть чему-то толковому научится.

Но тут вылазит еще один важный момент. Современные нейросети работают вне временного контекста. Даже видео для них это набор почему-то связанных картинок. И все успехи класифайда объектов по движению под капотом работают исходя из этой логики. Ничего толкового в подходах moution capture не выходит. Нейросети вне времени и пространства. А без этого нельзя получить опыт. А без него нет понимания сути. Короче, далеко еще до AI-апокалипсиса.

Тут скорее вопрос в том как сформулировать цель обучения и какие данные для этого понадобится
Если целью ставить "определять объекты на которые можно что-то поставить и оно не упадет"
То тогда и данные надо скармливать соответствующие.
Видео падений.
Видео поведения объектов разной формы на поверхностях разной формы, наклоненных к вектору гравитации разным образом

Что делать если на сильно наклонном столе приклеена кружка? Она не упадёт. А сеть скажет что да. А если учить на приклеенных и не приклеенных кружках в равной пропорции то и выход сети будет 50%.

Человек через секунду скажет "она приклеена". Сеть будет 10 минут упорно твердить "сейчас упадёт"

Это вопрос размера датасета. Дети, знаешь ли, тоже годы учатся

Не понимаю чем поможет дата сет. 99 видео где кружки падают, и 1 где приклеена. Человек через секунду скажет "приклеена", нейросеть все 10 минут будет утверждать "сейчас упадет"

Например, в первые годы жизни человек обязательно должен слышать человеческую речь, чтобы научиться разговаривать. Точные сроки надо смотреть и таких детей мало всё-таки было. Похожая история со зрением: вроде были эксперименты (хотя тоже какие-то единичные, про которые больше легенд), что если котенок в детстве видел только вертикальные или горизонтальные полоски, то другие полоски он потом при предъявлении после критического периода он будет плохо различать.

Ты описываешь biasный датасет, да

Вот кстати интересно было давно. Можно ли обучать не на картинках, а на кусочках видео?

В 1 секунде видео 24 картинки, см. задачу 1 :) Работа с отдельными изображениями + постпроцессор.
Все ухищрения, направленные на "но секунду назад же было вот это, а теперь вот это, но так не бывает!" дают мизерный вклад в точность

Если делать тайм-лэпс с более адекватной разверткой по времени для какого-то процесса? И смотреть не только на "статическую картинку", а например и на изменения за время (тупо или умно вычесть из одной картинки другую и использовать разницу как фичу?)

Есть же анализ временных рядов с разным окном? Почему не анализировать ряд картинок?

В анализе временных рядов тоже лажа, хотя туда трейдеры вбухивают большие деньги. Всё перечисленное и много больше конечно же пробовали, пока не выходит каменный цветок.
Я в составе небольшой группы копал в задачу трекать мышей в прозрачной клетке по видео, там уже были многие годы наработок. Нужна была точность до кокретной наглой морды. Сплелись две мышки в клубочек и всё, дальше уже не различается где какая, хотя по положению тела для человека в целом решаемая задача.

Есть вероятность что новомодные AttentionUnit из GPT-2/3 могут помочь продвинутся в этом классе задач.

Ну ты сам же говоришь, по положению тела. Значит, имеет смысл попробовать досыпать скелетную модель с углами поворота суставов

И получится примерно как у человека

Скелеты и выделение две области куда сейчас активно копают, да. Результату пока далеко до человеческого уровня применительно к видео.