Super! Спасибо!))

спасибо! а видос есть?

а может кто нибудь здесь по быстрому в три слова объяснить за differential programming  его плюсы vs чего нибудь (те же выч графы и свифт+тф подход) или кинуть понятный соотвествующий линк про это?)

спасибо)

И помним, что есть ещё https://julialang.org/blog/2019/01/fluxdiffeq

Вот тут про ход на дифференцируемые архитектуры и несколько ещё ссылок: https://ailev.livejournal.com/1464563.html

вдогонку к ссылкам Анатолия Игоревича: авторы Swift for TF описывали достаточно подробно, зачем, почему и как. и это очень похоже по смыслу на известные посты Building a Language and Compiler for Machine Learning и On Machine Learning and Programming Languages. но авторы Flux об этом написали раньше)

ага, уже прочитал! спасибо))

спасибо!

спасибо всем за ссылки!

Just as functional programming involves reasoning about and expressing algorithms using functional patterns, differentiable programming involves expressing algorithms using differentiable patterns. Many such design patterns have already been developed by the deep learning community, such as for handling control problems or sequence and tree structured data. This post has introduced a couple of new ones, and as the field matures many more will be invented. The resulting programs are likely to make even the most advanced current deep learning architectures look crude by comparison.

https://fluxml.ai/2019/03/05/dp-vs-rl.html

кстати, не первый и не втопрой раз выжу сравнения DL с FP

хотя ну фп это же не только про последовательное применение функций)

Вот я подумываю о разработке курса вычислительного мышления (computational thinking, по факту это computer science), и там по идее должен быть какой-то более-менее попсовый рассказ про разные "программирования" — разные модели вычислений. Императивное, функциональное, объектное, вероятностное, дифференцируемое и т.д.. ACM признало, что deep learning это тоже про вычисления/алгоритмику — дало за это тьюринговскую премию Бенжио, Хинтону, ЛеКуну в этом году. Karpathy про Software 2.0 тоже ясно написал, что "градиентный спуск лучше пишет код, чем программисты". Тренд понятен. А ещё моделирование данных: непонятно, где там программирование, а где уже нет (работа с кучерявыми типами данных ведь без разницы, в базах данных, или в переменных — и там тонкая разница про "языки запросов" и "обычные языки").  Вот не понимаю, с кем такой курс обсуждать. Он, по идее, должен втыкаться в такую линейку курсов:

-- Онтологика классическая: термины, которые важны и неважны, отслеживаемость типов и отношений в схемах и в естественном языке, формальность и недискретность/вероятностность моделирования, проверка типов и работа с наследованием, холархия/мереология и 4D, классификации и специализации. Описания как модели с интерпретаторами-людьми и компьютерами.
-- Функциональная грамотность: от многабукофф к смыслу и обратно (это нужно специально тренировать!) – ____
Мастерство согласований: множествественность описаний -- дисциплины, стейкхолдеры. Коммуникативные стратегии: как стейкхолдерам договориться.
-- Научное мышление. Правдоподобность моделей, эксперимент, возможные миры, предсказания, вероятностная логика, причинность и контрфактуальность.
-- Принятие решений, прагматика. Методы принятия решений, упаковка решений в модель, согласование решений с другими стейкхолдерами.
-- Системное мышление (за вычетом того, что войдёт в онтологику, онтика системного мышления изложена в https://ailev.livejournal.com/1470152.html, плюс системное творчество https://ailev.livejournal.com/1425331.html)
-- Вычислительное мышление (обсуждается: от классической информатики по http://ailev.livejournal.com/1008054.html и коннективизма/моделей AI через имитационное моделирование типа DSL Modia в Julia или даже System Dynamics к умению дробить задачи на части/планировать и строить адекватные модели на подходящих формальных и не очень формальных языках), см. обсуждение в "Об вычислительное, научное, инженерное мышление" (https://ailev.livejournal.com/1439141.html): прямое обучению абстрагированию и композиции/декомпозиции моделей

Анатолий Игоревич, а вы где свои курсы ведете?)

Я свои курсы веду тут: http://system-school.ru/

а точно! я почему то забыл, и думал, что скорее какой то университет

мне кажется такое надо задавать как фундамент именно в университете. курс, который вы хотите организовать мне кажется фундаментальным очень.

про основы всего так сказать. и про разницу.

При этом в ближайшие дни на сайте поменяются описания курсов онтологики. Там и Байес, и всё такое будет уже в количестве )))
Системное мышление — так я прямо сейчас переписываю учебник, и 12 мая начну группу уже с новой терминологией и новым учебником.

А вычислительного мышления пока вообще нет. А надо. Это правильно, курсы эти все фундаментальны. В университетах их не учат поэтому, ибо там везде сейчас "никакой теории, только практика!", увы.

При этом я ещё и препод МФТИ "официально" последние годы, но там один выпуск в год, поэтому всё медленно очень и тем самым плохо. Не реализуется release early, release often. Поэтому я основное делаю мимо вузов.

ясно!

ну практика онли не везде) только в модных вузах.

у нас в спбгу на матмехах и прочим до сих пор все в базе старенький подход)

Собственно, когда-то SICP был "фундаментальным курсом", но за последнюю пару лет сама идея уплыла в неизведанные для computer science края, и нужно выстраивать всё вообще заново. И тут два пути: ждать каких-то Великих Гениев, или самим объявлять себя такими и делать. С системным мышлением я просто взял, и сделал ))) С онтологикой — организовал делание. С телесным мышлением — организовал делание. С вычислительным мышлением IMHO вокруг Julia самая интересная в этом плане тусовка. Поэтому тут и плачусь в чате )))