Тот за Хаскель тёр, как обычно?

Скорее за то, что он в сортах императивных языков не разбирается

Это правда

кек

В общем, я думала мы там умрем. Но в целом, гуманитарненько получилось

как раз для меня =))

ДОКЛАД NVIDIA "Fast training with AMP/TF32 using TensorCores on NVIDIA GPU" на Data Fest + СЕССИЯ Q&A

Денис Тимонин, AI Solutions Architect в NVIDIA,  расскажет об одном из самых эффективных методов  ускорения обучения и инференса нейросетей  - применении смешанной точности. В своем докладе Денис разберет статью “Mixed Precision Training” от NVIDIA и Baidu Research и расскажет о деталях работы с точностью формата  TensorFloat32. Также мы  обсудим алгоритмы, которые применяются при обучении с помощью смешанной точности и поговорим об аппаратных решениях, которые обеспечивают высокую скорость работы для форматов данных в нейросетях.
В первой части доклада мы разберем числа с плавающей точкой, мотивацию за обучением в смешанной точности, тензорные ядра, а также обучим сложную нейросеть StarGAN V2 (CVPR 2020) в режиме Automatic Mixed precision (AMP).
Во второй части погрузимся в оптимизацию работы с тензорными ядрами: разберем трюки для быстрого обучения в высокоуровневых фреймворках, C++ API, а так же научимся подбирать правильные размеры данных и слоев в нейросети для наибыстрейшего обучения.

Доклад записан на английском языке.

Доклад уже доступен на Youtube канале ODS: https://bit.ly/3kPAvPA

Сессия Q&A состоится в субботу, 26 сентября с 12 до 14 тут: https://spatial.chat/s/ods Пароль для входа можно получить тут: https://bit.ly/2GbDB1j

Это больше про DL и GPU, все, как мы любим

А скалабилити это про gpu?

не только

А про что чат ?что тут обсуждать и спрашивать можно

Про распределенные системы и hpc. Можно все, пока не забанили

Подскажите какие есть пределв у poll подхода? Вот если есть гипотетическое приложение , которое каждые 3 секунды опрашивает сервер на наличие изменений. В какое ограничение физически оно упрется,если количество таких клиентов начнет расти

В пропускную способность load balancer перед репликами application серверов.

Я думаю, что нужно уточнить задачу. То есть рассказать про окружение (мб у вас cloud) и требования к состоянию (на сколько его много и на сколько оно должно быть консистентным)?

ps: я про pull (pull vs push) architecture

Ну или производительность ядра CPU, на котором epoll_wait блокирует цикл треда OS, выполняющегося на данном ядре
Хотя лучше бы уточнить в чём должен заключаться предел

Но это ведь треад блокируется и будет разбужен он как только произойдет одно из событий , которое ждём. Сам cpu ведь производства этом свободен. Будет допустим много тредов , каждый из который слушает события на своей тысячи сокетов через epoll_wait. Предел например в количестве таких активных именно соединений в секунду . Сколько запросов на обработку можно в секунду для того подхода обеспечить.

Load balancer может быть сетевым и пропускать большие объемы

После этого вопросы к хранилищу состояния. Без конкретики об этом говорить очень сложно: от s3 like store до бд с обязательным синхронным коммитом.

Не устаю рекомендовать вот это видео https://youtu.be/bEYY3M0d-w8