Size: a a a

Глубинное обучение (группа)

2017 May 25

YB

Yuri Baburov in Глубинное обучение (группа)
я имел в виду 0.99**2 кстати.
не, всё правильно, при momentum update суммирует прошлые градиенты с весами.
источник

NK

ID:347198853 in Глубинное обучение (группа)
да, но сами градиенты от этого не меняются
источник

NK

ID:347198853 in Глубинное обучение (группа)
то есть они могут меняться, но не от этого
источник

YB

Yuri Baburov in Глубинное обучение (группа)
а, ну да. в смысле, нужно отдельно проговаривать, как мы картинку меняем -- оптимизатором каким или просто градиентами.
источник
2017 May 29

YT

Yuriy Turchin in Глубинное обучение (группа)
Ребят, а подскажите. Увеличение размера batch-ей как сказывает на обучении?
источник

YT

Yuriy Turchin in Глубинное обучение (группа)
Улучшает аппроксимацию ф-ии ошибки?
источник

EZ

Evgeniy Zheltonozhskiy🇮🇱 in Глубинное обучение (группа)
Yuriy Turchin
Улучшает аппроксимацию ф-ии ошибки?
увеличивает, хотя есть всякие хитрые техники чтобы этого избежать
источник

YT

Yuriy Turchin in Глубинное обучение (группа)
Не понял, увеличивает — это значит менее точной делает? Ну т.е. все сгибы функции становятся более угловатыми?
источник

EZ

Evgeniy Zheltonozhskiy🇮🇱 in Глубинное обучение (группа)
Yuriy Turchin
Не понял, увеличивает — это значит менее точной делает? Ну т.е. все сгибы функции становятся более угловатыми?
результат хуже)
источник

EZ

Evgeniy Zheltonozhskiy🇮🇱 in Глубинное обучение (группа)
ну то есть там есть максимум, а дальше уменьшается
источник

YT

Yuriy Turchin in Глубинное обучение (группа)
Я понял, спасибо
источник

NK

ID:347198853 in Глубинное обучение (группа)
вообще-то это сложный вопрос, и вроде нет толком теоретического понимания какой размер батча оптимален
источник

AG

Azat Garifullin in Глубинное обучение (группа)
Здесь пару слов об этом сказали и дали ссылки:
http://www.inference.vc/everything-that-works-works-because-its-bayesian-2/
источник

📒

📒 in Глубинное обучение (группа)
Кстати есть работы с применением топологии, дифгеома в дл?
источник

📒

📒 in Глубинное обучение (группа)
Я что то видел с числами бетти только но работа старая была
источник
2017 May 30

AG

Azat Garifullin in Глубинное обучение (группа)
Самый частый пример дифгеома про HMC с Римановскими многообразиями, наверное. Я мало знаю про дифгеом, но вот статья, про масштабируемый на дл HMC:
https://arxiv.org/abs/1506.04696
источник

AG

Azat Garifullin in Глубинное обучение (группа)
ну и information geomtry, судя по всему, становится достаточно хайповой
источник

KS

Konstantin Sozykin in Глубинное обучение (группа)
Мне тут один вопрос покоя не даёт. Для одной из задач которая у меня есть я хочу применить что-то вроде trainable loss function. Кто-то​ сталкивался с таким?
источник

KS

Konstantin Sozykin in Глубинное обучение (группа)
Условно. Допустим, мои лосс состоит из нескольких слогаемых
источник

KS

Konstantin Sozykin in Глубинное обучение (группа)
У которых есть коэффициенты
источник