В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Глубинное обучение (группа)

219 membersпожаловаться на группу
2017 September 07

KS

Konstantin Sozykin in Глубинное обучение (группа)
Yuriy Turchin
Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?
Нету. все руками. Кто-то даже статьи на эту тему пишет на arxiv
источник
15:25пожаловаться#1

YT

Yuriy Turchin in Глубинное обучение (группа)
А эффект стоит того?  Сильно ли вообще повышается в среднем скорость?
источник
15:26пожаловаться#2

KS

Konstantin Sozykin in Глубинное обучение (группа)
ну если ты прям large-scale эксперименты делаешь. Ну например VGG Image Net на 6-8 картах тренируют
источник
15:27пожаловаться#3

KS

Konstantin Sozykin in Глубинное обучение (группа)
Artem Kondyukov
Руками все, но это сейчас стало совсем несложно. Смысл (почти) всегда есть. Только 1060 — это SLI, а не CF :)
а что можно сделать кроме раскидывания батчей по видюхам и усреднения градиентов в общем случае?
источник
15:28пожаловаться#4

KS

Konstantin Sozykin in Глубинное обучение (группа)
Yuriy Turchin
А эффект стоит того?  Сильно ли вообще повышается в среднем скорость?
Ну то есть не будет такого, что воткнул две видео карты и стало в 1.5-2 раза быстрее работать само по себе
источник
15:29пожаловаться#5

AK

Artem Kondyukov in Глубинное обучение (группа)
Konstantin Sozykin
а что можно сделать кроме раскидывания батчей по видюхам и усреднения градиентов в общем случае?
Ничего
источник
15:30пожаловаться#6

YT

Yuriy Turchin in Глубинное обучение (группа)
Надо посмотреть как параллелить такие вещи. Последний раз с таким работал в OpenMP/MPI. Спасибо за помощь.
источник
15:30пожаловаться#7

KS

Konstantin Sozykin in Глубинное обучение (группа)
Ответили уже
источник
15:31пожаловаться#8

YT

Yuriy Turchin in Глубинное обучение (группа)
Да, я в теории понял, спасибо. Осталось практически понять)
источник
15:31пожаловаться#9

YT

Yuriy Turchin in Глубинное обучение (группа)
именно как в тензор флоу например это делать
источник
15:31пожаловаться#10

KS

Konstantin Sozykin in Глубинное обучение (группа)
Удачи ;)
источник
15:32пожаловаться#11

EZ

Evgeniy Zheltonozhskiy🇮🇱 in Глубинное обучение (группа)
Squeeze-and-Excitation Networks -  ILSVRC 2017 winner https://arxiv.org/abs/1709.01507
источник
16:28пожаловаться#12

EZ

Evgeniy Zheltonozhskiy🇮🇱 in Глубинное обучение (группа)
Yuriy Turchin
именно как в тензор флоу например это делать
есть пример же в доках
источник
16:29пожаловаться#13

A

Andrey in Глубинное обучение (группа)
А нужен ли SLI?
источник
16:40пожаловаться#14

IU

Ivan U in Глубинное обучение (группа)
Andrey
А нужен ли SLI?
Ты намекаешь не купить ли вместо двух одну но мощную?
источник
17:43пожаловаться#15

YB

Yuri Baburov in Глубинное обучение (группа)
Yuriy Turchin
Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?
Может и можно, но сильно зависит от задачи. Из пакетов, которые круто параллелят -- MXnet, CNTK.
источник
17:58пожаловаться#16

YB

Yuri Baburov in Глубинное обучение (группа)
А с tensorflow вполне может быть и так, что от смены пакета на другой скорость уже в 1.5 раза повысится) опять же, зависит от задачи
источник
17:59пожаловаться#17

FZ

Fyodor Zhdanov in Глубинное обучение (группа)
SLI сильного прироста не даст. Он для обмена данных между картами, в DL обмен данными не узкое место. Т.е. что со SLI, что без скорость примерно та же будет.
Кроме батчей глубокие рекуррентные сетки тоже хорошо параллелятся.
источник
18:02пожаловаться#18

FZ

Fyodor Zhdanov in Глубинное обучение (группа)
И, кстати, 1060 sli не имеет.
источник
18:06пожаловаться#19

YB

Yuri Baburov in Глубинное обучение (группа)
Fyodor Zhdanov
SLI сильного прироста не даст. Он для обмена данных между картами, в DL обмен данными не узкое место. Т.е. что со SLI, что без скорость примерно та же будет.
Кроме батчей глубокие рекуррентные сетки тоже хорошо параллелятся.
Точнее, это редко узкое место. Для больших изображений вполне может быть узким местом.
источник
18:08пожаловаться#20