Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

2020 September 23

TS

Timur Safin in Scalability Camp — чат про распределенные системы (и про HPC)
Zlata Obukhovskaya
Мы тут недавно общались с Брагилевским за пайтон на камеру
Тот за Хаскель тёр, как обычно?
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Timur Safin
Тот за Хаскель тёр, как обычно?
Скорее за то, что он в сортах императивных языков не разбирается
источник

TS

Timur Safin in Scalability Camp — чат про распределенные системы (и про HPC)
Это правда
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Timur Safin
Это правда
кек
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
В общем, я думала мы там умрем. Но в целом, гуманитарненько получилось
источник

r

raven.oscar in Scalability Camp — чат про распределенные системы (и про HPC)
Zlata Obukhovskaya
В общем, я думала мы там умрем. Но в целом, гуманитарненько получилось
как раз для меня =))
источник
2020 September 25

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Переслано от Dilarang Merokok
ДОКЛАД NVIDIA "Fast training with AMP/TF32 using TensorCores on NVIDIA GPU" на Data Fest + СЕССИЯ Q&A

Денис Тимонин, AI Solutions Architect в NVIDIA,  расскажет об одном из самых эффективных методов  ускорения обучения и инференса нейросетей  - применении смешанной точности. В своем докладе Денис разберет статью “Mixed Precision Training” от NVIDIA и Baidu Research и расскажет о деталях работы с точностью формата  TensorFloat32. Также мы  обсудим алгоритмы, которые применяются при обучении с помощью смешанной точности и поговорим об аппаратных решениях, которые обеспечивают высокую скорость работы для форматов данных в нейросетях.
В первой части доклада мы разберем числа с плавающей точкой, мотивацию за обучением в смешанной точности, тензорные ядра, а также обучим сложную нейросеть StarGAN V2 (CVPR 2020) в режиме Automatic Mixed precision (AMP).
Во второй части погрузимся в оптимизацию работы с тензорными ядрами: разберем трюки для быстрого обучения в высокоуровневых фреймворках, C++ API, а так же научимся подбирать правильные размеры данных и слоев в нейросети для наибыстрейшего обучения.

Доклад записан на английском языке.

Доклад уже доступен на Youtube канале ODS: https://bit.ly/3kPAvPA

Сессия Q&A состоится в субботу, 26 сентября с 12 до 14 тут: https://spatial.chat/s/ods Пароль для входа можно получить тут: https://bit.ly/2GbDB1j
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Это больше про DL и GPU, все, как мы любим
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
А скалабилити это про gpu?
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
не только
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
А про что чат ?что тут обсуждать и спрашивать можно
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
А про что чат ?что тут обсуждать и спрашивать можно
Про распределенные системы и hpc. Можно все, пока не забанили
источник
2020 September 26

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Подскажите какие есть пределв у poll подхода? Вот если есть гипотетическое приложение , которое каждые 3 секунды опрашивает сервер на наличие изменений. В какое ограничение физически оно упрется,если количество таких клиентов начнет расти
источник

MA

Mark Andreev in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Подскажите какие есть пределв у poll подхода? Вот если есть гипотетическое приложение , которое каждые 3 секунды опрашивает сервер на наличие изменений. В какое ограничение физически оно упрется,если количество таких клиентов начнет расти
В пропускную способность load balancer перед репликами application серверов.

Я думаю, что нужно уточнить задачу. То есть рассказать про окружение (мб у вас cloud) и требования к состоянию (на сколько его много и на сколько оно должно быть консистентным)?

ps: я про pull (pull vs push) architecture
источник

A

Alexander in Scalability Camp — чат про распределенные системы (и про HPC)
Ну или производительность ядра CPU, на котором epoll_wait блокирует цикл треда OS, выполняющегося на данном ядре
Хотя лучше бы уточнить в чём должен заключаться предел
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Alexander
Ну или производительность ядра CPU, на котором epoll_wait блокирует цикл треда OS, выполняющегося на данном ядре
Хотя лучше бы уточнить в чём должен заключаться предел
Но это ведь треад блокируется и будет разбужен он как только произойдет одно из событий , которое ждём. Сам cpu ведь производства этом свободен. Будет допустим много тредов , каждый из который слушает события на своей тысячи сокетов через epoll_wait. Предел например в количестве таких активных именно соединений в секунду . Сколько запросов на обработку можно в секунду для того подхода обеспечить.
источник

RS

Rinat Shigapov in Scalability Camp — чат про распределенные системы (и про HPC)
Mark Andreev
В пропускную способность load balancer перед репликами application серверов.

Я думаю, что нужно уточнить задачу. То есть рассказать про окружение (мб у вас cloud) и требования к состоянию (на сколько его много и на сколько оно должно быть консистентным)?

ps: я про pull (pull vs push) architecture
Load balancer может быть сетевым и пропускать большие объемы
источник

MA

Mark Andreev in Scalability Camp — чат про распределенные системы (и про HPC)
Rinat Shigapov
Load balancer может быть сетевым и пропускать большие объемы
После этого вопросы к хранилищу состояния. Без конкретики об этом говорить очень сложно: от s3 like store до бд с обязательным синхронным коммитом.
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
Подскажите какие есть пределв у poll подхода? Вот если есть гипотетическое приложение , которое каждые 3 секунды опрашивает сервер на наличие изменений. В какое ограничение физически оно упрется,если количество таких клиентов начнет расти
Не устаю рекомендовать вот это видео https://youtu.be/bEYY3M0d-w8
источник