Как мне кажется, мы можем как-то количественно оценить уровень количества контактов, однако мало что известно об уровнях оптимизаций. Например, та же разница в количестве рецепторов на разных синапсах нейрона - это увеличение сложности или, наоборот, её оптимизация? Это мне пока непонятно.

Увидел, осознал, отреагировал. Некая клеточная модель мозга. Нейросеть на 68миллиардов нейронов сегодня не проблема. В моеём представлении, проблема в том что мы не до конца знаем структуру связей (правила их построения?) и биохимию процесса.

Почему не 86 миллиардов?)

Википедия говорит что столько нейронов в мозге человека.

Тогда всё-таки 86 миллиардов :)

А, сорь, это опечатка. 86 правильно. не 68. Концептуально, вопрос всё тот же :)

Да. Сейчас пытаются моделировать связи в части мозга грызунов с учётом электрофизиологических свойств нейронов (а самих нейронов порядка сотен типов), при этом в биохимию сильно глубоко не лезут. И с такой моделью справляются только какие-то суперкомпьютеры

В GPT3 175 миллиардов нейронов. Тут вопрос именно что не количества самих нейронов, а количества и качества связей между ними. Из того что я читал, тип связей в разных отделах худо-бедно уже понимаем. Но вот качество этих связей — нет. Ввиду крайне сложной биохимии. Правильно я понимаю?

Смысл же не в том, что ты просто сделал сетку из миллиардов нейронов и нарисовал связи между ними. Смысл в том, что разные нейроны по-разному обрабатывают информацию, ставят разные фильтры и так далее. Я бы сказала, что биологическая нейронная сеть состоит из массы маленьких нейронных сетей со своими правилами, со своими разными способами предобработки данных и обменом таких данных между этими нейросетками внутри. И часть таких правил запрограммирована, а часть формируется под влиянием окружающих условий.

Тут проблема не только в том, что мы плохо понимаем про биохимию и качество связей, а то, что это динамические процессы, и правила формирования связей могут отличаться в течение жизни, особенно раннего развития. Например, были статьи, что у крысы встраивание рецепторов на определённом этапе развития связано с одним набором белков, на другом этапе - с другим набором белков

>биологическая нейронная сеть состоит из массы маленьких нейронных сетей
Да, эту часть уже повторили и признали эффективность :) Типичный пример архитектуры той же GPT3. Каждый прямоугольник — отдельный мир.

Спасибо, это интересно :)

По сути же в мозге есть не только дендрито-нейронное соединение, но и геометрическое. Например нейрон А не связан с нейроном Б напрямую, но реакции на нейроне А выбрасывают в окружающее пространство какую-то химию, что в итоге влияет на Б за счёт его близости. И вот этого в NN нет.

И, насколько я понял, ваша работа как раз про вот эту "окружающую" химию и её влияние

А, кстати да, про это влияние я и забыла. Ну, такие выбросы типа дофамина, норадреналина, ацетилхолина иногда влияют на общий уровень восприятия и в какой-то мере определяют механизмы внимания. То есть, например, выбросился дофамин, и глобально сеть понимает, что здесь что-то новенькое, надо обратить внимание. Я не знаю, как устроены механизмы внимания в NN, но вроде какие-то есть.

И да, и нет. Оксид азота действует обычно на короткие расстояния, вопрос в том, в каких клетках он синтезируется. А вот выброс дофамина, ацетилхолина работает на больших расстояниях, поскольку отростки от относительно небольшого количества клеток могут распространяться по большому объёму мозга и одновременно менять концентрацию медиатора в этих частях мозга.

Правда, прикол в том, что в разных частях мозга и даже в соседних нейронах ответ на эти медиаторы может отличаться, и это, конечно, непросто :)

Т.е. я понял правильно: на "качество" передачи импульса влияет страшно сложная биохимия. И когда мы её сведем в одну модель, она будет фантастически сложная?

Моё предположение такое - мы этого не знаем. Возможно, если мы разберёмся в правилах работы биосети, то такая биохимии может не усложнить, а даже упростить работу. Это не утверждение, а предположение :) То есть, бионейронка, конечно, сложная и фантастически сложная, но как на неё повлияют учёт биохимии - это вопрос, на мой взгляд. Может, даже дилетантский взгляд)