AS
берете over9000 оптимайзер и инициализация не нужна!
Size: a a a
2020 June 04
AS
(ну это отчасти шутка но он правда крутой)
RA
берете over9000 оптимайзер и инициализация не нужна!
Время и ресурсы это увеличивает ? Насколько ?
AS
Rauan Akylzhanov
Время и ресурсы это увеличивает ? Насколько ?
сложный вопрос) надо статьи ковырять
RA
сложный вопрос) надо статьи ковырять
Понятно, думал если кто читал
AS
это не статья по over9000, там комбинация из нескольких, а по ним уже статьи
I
Rauan Akylzhanov
Время и ресурсы это увеличивает ? Насколько ?
Если BERT тренить по-любому ресурсов должно быть достаточно, а там 10 часов больше, 10 часов меньше - не играет большого значения))
TA
И вообще:
1) stack more layers в любой непонятной ситуации.
2) качество не очень? Добавь еще слоёв.
Всегда помогает - вон Openai помог такой совет с GPT3.
1) stack more layers в любой непонятной ситуации.
2) качество не очень? Добавь еще слоёв.
Всегда помогает - вон Openai помог такой совет с GPT3.
RA
Я из соображений даже если есть железо, зачем ждать больше для одинакового эффекта
RA
И вообще:
1) stack more layers в любой непонятной ситуации.
2) качество не очень? Добавь еще слоёв.
Всегда помогает - вон Openai помог такой совет с GPT3.
1) stack more layers в любой непонятной ситуации.
2) качество не очень? Добавь еще слоёв.
Всегда помогает - вон Openai помог такой совет с GPT3.
Это общий тренд. И какой подход тогда востребованный? Всегда так поступают.
I
Но инициализировать лучше оптимально)
I
Все таки, иначе может никогда не сойтись, застрянет в локальном минимуме
RA
Я понимаю, что вопросы типа из 250 миллионов весов рандомно загасим кусок и модель рабочая все еще. Или как тренить быстрее не акутальны?
RA
Но инициализировать лучше оптимально)
А есть описанные случаи когда такая бяка случаласть gradient stuck on a plato?
RA
Но инициализировать лучше оптимально)
Что значит оптимально ?
TA
Есть такая прикольная статья про инициализацию:
papers.nips.cc/paper/9427-metainit-initializing-learning-by-learning-to-initialize
papers.nips.cc/paper/9427-metainit-initializing-learning-by-learning-to-initialize
По поводу это статьи: всё равно пользуются стандартными инициализаторами.
В статье вкратце теория о том, что более благоприятная инициализация та, из-за которой в самом начале GD будет не сильно шататься.
Также показывают, что стандартные инициализаторы довольно неплохи.
Так что He, Glorot. Тут уже неважно. Для BN: gamma=1, beta=0.
В статье вкратце теория о том, что более благоприятная инициализация та, из-за которой в самом начале GD будет не сильно шататься.
Также показывают, что стандартные инициализаторы довольно неплохи.
Так что He, Glorot. Тут уже неважно. Для BN: gamma=1, beta=0.
RA
По поводу это статьи: всё равно пользуются стандартными инициализаторами.
В статье вкратце теория о том, что более благоприятная инициализация та, из-за которой в самом начале GD будет не сильно шататься.
Также показывают, что стандартные инициализаторы довольно неплохи.
Так что He, Glorot. Тут уже неважно. Для BN: gamma=1, beta=0.
В статье вкратце теория о том, что более благоприятная инициализация та, из-за которой в самом начале GD будет не сильно шататься.
Также показывают, что стандартные инициализаторы довольно неплохи.
Так что He, Glorot. Тут уже неважно. Для BN: gamma=1, beta=0.
Это значит, что градиент почти всегда не застрявает или не взрывается ? Закономерность ?
I
Rauan Akylzhanov
А есть описанные случаи когда такая бяка случаласть gradient stuck on a plato?
Почитай классические статьи Ксавье Глоро и Хе Кайминя
RA
Я не много знаю, так что если говорю глупость не обижайтесб
I
Rauan Akylzhanov
Это значит, что градиент почти всегда не застрявает или не взрывается ? Закономерность ?
Это значит что веса нужно инициализировать по Кайминю или по Ксавье