вот и предполагаю — "возможность мыслить о мыслях"

Тогда Вам нужно из этого определения вывести (промоделировать) хотя бы базовые когнитивные механизмы сознания: память, внимание, распознавание образов, выведение выводов и прочие "мелочи". 😊

Может быть, не надо так сразу...
Для начала, давай его посчитаем!

может тут ответ гораздо сложнее, и сознание требует, к примеру, возможности воспринимать эмоции, какие-либо чувства, что требует наличия всего тела.
это можно было бы проверить, если найти какого-нибудь человека, с заболеванием, из-за которого он в принципе ничего не может ощущать, но боюсь такое заболевание называется "смерть"

Главное — делать это физически! Или физично? 🤔

мне кажется всё перечисленное уже ложится на возможности сложной нейронной сети, а вот сознание это уже что-то на порядок сложнее

Вы открыли так называемую "embodyment problem". 👍

Насчёт "ничего не ощущать" — не нужна не то, что смерть, но даже заболивание. В своё время были популярны исследования "сенсорной депривации". Испытуемые рапортовали очень интересные эффекты на мышление и сознание. 😊

могу числа сделать
мысль — 0
мысль о мысли — 1
мысль о мысли о мысли — 2
мысль о мысли и мысли о мысли — -1

дальше трудности

это выглядит как коан

Хм, но ведь если мышление и сознание поаффекчено, то, что они рапортуют, тоже может быть искажено

По факту — нет. Главная проблема современных нейронок — они новому-то учиться не могут! Тем более, прямо в процессе работы, тем более — нескольким вещам одновременно. Ну и насчёт памяти — вопрос очень спорный...

в каком смысле не могут? они обобщаются

Про детерминистичность (неслучайность) в квантовой физике мы уже тут пару дней назад обменивались ссылками. Боюсь, что туда мало кто заглянул.

Можно раскрутить литературу по ссылкам из https://arxiv.org/abs/1507.03287

Там довольно хитрые доказательства, которые вели Deutsch и Wallace на базе интерпретации Everett и с использованием principal principle от David Lewis (то есть вероятность в формулах появляется как оценка для принятия решений, а в природе всё оказывается детерминистично).

Опять же, в разговоре всё время звучит "вселенная" там, где надо бы говорить о мультиверсе (а вселенная только одна из их бесконечного количества в мультиверсе — и вот эта бесконечность имеет значение).

Всё, увы, в этом месте сложно. В режиме чата не решишь )))

сложно то сложно но до состояния общепризнанной теории этому далеко

пока исследователи массово на начнут совершать самоубийства подбирая пароли к биткойн кошелькам не поверю

В каком смысле ANNs не могут учиться новому? В том смысле, что они purpose-built, pre-trained и "в бою" умеют только inference, но не обучение. Область on-line ML развивается, но пока как-то вяло и не далеко ушла по сравнению с DNN.

А что там куда обобщается?

на новых данных нейронка дает адекватные ответы. в зависимости от архитектуры новые данные могут быть далеко за пределами выборки

Так я не про новые данные говорю, а про новые задачи. Можно обучить нейронку распознавать одновременно и цифры, и буквы, и котиков? В общем-то да, но точность будет очень далека от SotA по-отдельности. И это мы не пытались её же обучить распознавать звуки. Ну и всё это происходит до запуска нейронки "в бой". Так что память там такая, типа ROM, а не как у людей. 😊