EZ
Если найдёшь способ - пожалуйста поделись. Вангую, что войдёшь в историю и станешь богатым и знаменитым
Вангую что нет😜
Size: a a a
2021 January 11
D•
Хотя да, о чем это я
DD
k k
Ребят, вопрос, а можно как-то модель gpt-2, gpt-3 сжать до 10 Мб ?
А зачем?)
Если языковую модель нужно использовать для какого-то относительно узкого домена и задачи, её в принципе можно сильно ужать дистилляцией.
Если языковую модель нужно использовать для какого-то относительно узкого домена и задачи, её в принципе можно сильно ужать дистилляцией.
kk
Если найдёшь способ - пожалуйста поделись. Вангую, что войдёшь в историю и станешь богатым и знаменитым
))
DD
В общем-то и так можно, BERT вот довольно успешно сжимали в несколько раз, хоть и не до 10мб.
kk
А зачем?)
Если языковую модель нужно использовать для какого-то относительно узкого домена и задачи, её в принципе можно сильно ужать дистилляцией.
Если языковую модель нужно использовать для какого-то относительно узкого домена и задачи, её в принципе можно сильно ужать дистилляцией.
Хм..
DD
А я год назад успешно пожал эмбеддинги fasttext с 2.7 гб до 28 мб https://habr.com/ru/post/489474/
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
kk
В общем-то и так можно, BERT вот довольно успешно сжимали в несколько раз, хоть и не до 10мб.
https://m.habr.com/ru/company/avito/blog/485290/
Это подойдёт (?)
Это подойдёт (?)
kk
А я год назад успешно пожал эмбеддинги fasttext с 2.7 гб до 28 мб https://habr.com/ru/post/489474/
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
Спасибо, попробую
DD
k k
https://m.habr.com/ru/company/avito/blog/485290/
Это подойдёт (?)
Это подойдёт (?)
Да, вполне.
Так зачем понадобилось GPT сжимать? Интересно просто)
Так зачем понадобилось GPT сжимать? Интересно просто)
EZ
А я год назад успешно пожал эмбеддинги fasttext с 2.7 гб до 28 мб https://habr.com/ru/post/489474/
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
С глубокими нейросетями, конечно, это делается сильно сложнее, но, если очень надо, тоже реализуемо.
Ну 10мб для гпт3 это в 100к раз сжатие🙃
VC
Бтв, сжатие увеличивает bias
kk
Да, вполне.
Так зачем понадобилось GPT сжимать? Интересно просто)
Так зачем понадобилось GPT сжимать? Интересно просто)
Я просто хочу сделать суперинтеллект
I
Это что за зверь?
kk
Ivan
Это что за зверь?
Это сильнее , чем слабый и сильный интеллект, и сильнее человеческого интеллекта, будет способен чудеса творить
I
А какой-то ваш ресерч по этой теме посмотреть можно? Чего уже достигли?
D
кто в курсе jukebox с русским дружит?
СВ
Добрый день всем. Решил разобраться со свертками и попробовал просчитать вручную решенный пример(1й скрин) средствами кераса. Код на гисте
https://gist.github.com/RinnetenseiQ/9d467e954100eba4a4aba3362c5f950a
Создал модельку из одного сверточного слоя. Зафитил на одном экземпляре, что был на скрине 1 и на нем же и запредиктил. Но я совсем не ожидал, что получатся такие результаты(скр 2 и скр3).
1) Почему у - одно число (заметил, что по факту это среднее между у1 и у2
2) Массив весовых коэффициентов странный, мне казалось он должен быть куда меньшим
х и у на скрине 4
https://gist.github.com/RinnetenseiQ/9d467e954100eba4a4aba3362c5f950a
Создал модельку из одного сверточного слоя. Зафитил на одном экземпляре, что был на скрине 1 и на нем же и запредиктил. Но я совсем не ожидал, что получатся такие результаты(скр 2 и скр3).
1) Почему у - одно число (заметил, что по факту это среднее между у1 и у2
2) Массив весовых коэффициентов странный, мне казалось он должен быть куда меньшим
х и у на скрине 4
