Интересный текст про точку соприкосновения computer science и neuroscience. Рассказывают про недавнюю статью из nature, где попытались уточнить вычислительную функцию дофаминовых нейронов – они, как известно, участвуют в prediction errors сигналах. То есть сигнализируют об ошибке в ожиданиях, а потому усиливают обучение там, где эта ошибка произошла.
В общем, дофаминергические нейроны, похоже, имеют разные уровни пессимизма и оптимизма (почему бы и не назвать нейрон пессимистом – так забавнее). Получается, что предсказания о вознаграждении у каждого нейрона (или популяции, скорее) свои, а потому и сигналы об ошибках в ожидании тоже подчиняются индивидуальным колебаниями. Возможно, так поддерживаются более сложные и комплексные репрезентации событий. А ещё такой же принцип работает в модификации reinforcement learning алгоритмов, используемых в создании ИИ. А конкретно – в distributional reinforcement learning алгоритме, которым и вдохновлялись при проведении исследования.
https://deepmind.com/blog/article/Dopamine-and-temporal-difference-learning-A-fruitful-relationship-between-neuroscience-and-AI