AT
С этим тоже полностью согласен. 😊
Size: a a a
2021 July 06
IR
го в мутные типы хотя бы
PM
@icrbow @GabrielFallen дайте линку где продолжите обсуждение ? 🙂 (интересно топик дальше почитать)
ДК
Ну, мы вот учим на суперкомпьютере, в разных шкафах, и норм. Там есть методы распределённого обучения, да и матрицы можно хранить с учётом топологии. TPU - это, конечно, круто, но не у всех есть.
Другие методы тоже хорошо распараллеливаются по данным.
Ну, и вы путаете градиентный бустиг и спуск.
Другие методы тоже хорошо распараллеливаются по данным.
Ну, и вы путаете градиентный бустиг и спуск.
[
уже давали пруфы, что градиентный бустинг используют так же и для нейросетей
[
и разговор ушёл в другой чатик из-за оффтопика
AT
Я знаю, что есть методы распределённого обучения. Я говорил, что обучать в одном шкафу быстрее, чем в двух, при условии, что влазит. 🤷♀️
ДК
Там много всяких "если". Может и в двух шкафах быстрее быть, если удачно разложить по памяти. Много факторов.
AT
Если нейронка fully connected, то не получится "удачно разложить по памяти", а?
AT
Обычно pruning таки random, и я не понимаю как такое раскладывать по памяти...
AT
Но, может, есть удачные НЕ рандомные?
ДК
Почему не получится? Это просто здоровый многомерный массив, который раскладывается поблочно.
AT
Fully connected будет обращаться к памяти другого узла. 🤷♀️
AT
С другой стороны, есть DMA, но это всё равно не шибко быстро.
ДК
Так там же будет не простое умножение, а параллельное. Обращаться будет, но не ко всем данным.
ДК
DMA - это очень быстро. Быстрее, чем memcpy может быть.
AT
DMA к памяти другого узла, я имел в виду.
AT
Не понял, как это. 🤷♀️
ДК
Угу. Это тоже может быть быстрее memcpy. InfiniBand так умеет.
ДК
Есть алгоритмы, уменьшающие число копирований. Можно погуглить cannon algorithm, fox algorithm