новые данные могут содержать вопрос

но путь еще немал впереди конечно

нейронки тупиковые направления, ну типа как драйвера для компов, а нам нужен интерпретатор интерпретаторов

ждем sota от вас

Хоть кто-то это видит, что тупиковое направление ;-)

вот вы неблагодарный, критикуете то, что используете, чтобы критиковать

а сколько левелов так можно?
если набить сто, есть ачивка?

От вас ничего не утаишь!

пока я писал уже стак переполнился 😔

Multitask learning (одновременное обучение распознаванию разных классов) хорошо уже происходит, там нет проблем с SoTA — и наоборот, часто оказывается, что учить разным классам задач про один и тот же мир даже полезно.

Роль интерполяции в нейронках преувеличена. См., например, свежие результаты LeCun сотоварищи — https://syncedreview.com/2021/10/20/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-127/

Проблема в том, что современные когнитивные архитектуры содержат обычно несколько разных нейронок, и результат ведёт себя не как классическая одна нейронка. Это системные уровни, проявляется эмерджентность.

При разговоре о том, что может и чего не может компьютер, всегда нужно учитывать эмерджентность. Голый компьютер не может нарисовать голого человека. Но если там работает правильная программа (компьютер не голый), то компьютер может нарисовать голого человека. Рисовать этого человека может компьютер с нейронкой или сложной архитектурой из нейронок — и вот это каждый раз нужно оговаривать, что имеется ввиду, когда пишут "компьютер не может", "нейронка не может". Голые они ничего не могут, это да. Но голых уже и не бывает, они всегда лишь детальки в более сложных конструкциях.

> Роль интерполяции в нейронках преувеличена.
Если это перцептрон-подобное, то сколько бы слоёв ни было, это интерполяция и больше ничто.
Причём, ужасная, неинтуитивная и неэффективная.
А вот если есть обратные связи того или иного устройства, тогда уже дааа
Ну или речь про нейронные сети общего вида.
Только их пока не умеют тренировать, даже пару десятков тысяч нейронов с бааальшим трудом.
Нужно хороший промежуточный вид обратных связей.
И так-то, его уже практичски создали.

Рекомендую всё-таки почитать статью, она ж как раз про это всё.

Ладно, почитаю. Но чотта слишком сомневаюсь, что тут могут быть какие-то соображения.
Уж слишком много тут объективного.
Если сетей несколько, то то же самое - качественное отличие от интерполяции будет, если только есть обратные связи.

Нейронки это функции, например на входе картинки букв на выходе слова. "Но кто читает тексты"?

Дак это же просто штатный шаман камлает в нижний мир, ловит там какого-нить духа и прикрепляет к нейронке

ну так в нейронках они бывают

Бывают, бывают. Но речь шла и про обычное многослойное.
Краткую статью чотта я не совсем понял.
Ну точнее, выводы понятные, но как будто, поверхностные.
Потом посмотрю статью в архиве.

даже у той же gpt в неявном виде есть обратная связь

а почему ты говоришь что нейронка как интерполятор плоха? обоснование почему именно relu имеется, как будет выглядеть поверхность аппроксимации в целом тоже понятно, в чем профит оверпараметризации тоже кажется интуитивно

Патамушта оочень неоптимальный алгоритм.