t
и люди, которые это обслуживают, хотят кушать
Size: a a a
2020 July 15
FF
жадность openai мешает
Люди кучу денег потратили, при чём тут жадность?
t
Люди кучу денег потратили, при чём тут жадность?
я и говорю - имеют право. натренировать с нуля gpt3 выйдет все равно только у кого-то уровня faang
D
куда уж массовее? или вы хотите дохрена компьюта забесплатно?
ну пока не будет на запрос "как изменить геометрию gpt-2 transformers" выдаваться 10 страниц гугла с туториалами из каждого утюга и пока не будет простых, массовых инструментов облегчающих задачу можно сказать что пока что "СЛОЖНА"
t
изменить геометрию - это задача на 2 минуты, это пару цифр поменять
t
заскейлить существующую предобученную модель, чтобы ее веса переиспользовать для новой топологии - я не знаю, возможно ли это
t
может специалисты скажут
D
изменить геометрию - это задача на 2 минуты, это пару цифр поменять
прямо на тренированой модели?
t
нет, конечно, но тут gpt2 ни при чем, у вас не получится на предобученных моделях поменять геометрию никакой сети, независимо от ее архитектуры
D
впрочем как я и говорил
t
тогда чем ответ "это невозможно" вас не устраивает? 🙂
D
сейчас же съехали на GPT-2 на котором это возможно
t
"маленькие, но по три"
t
вы приводите gpt2 как пример того, почему возможно запустить gpt3 на консюмерском железе
t
игнорируя разницу в размерах
D
ещё раз повторяю - сейчас обсуждение переехало с реплики gpt-3 на добавление слоёв к gpt-2
t
добавить слои к gpt2 вы можете и так, используя предобученные веса.
t
только вот на колабе, боюсь, протренить это не выйдет
D
только вот на колабе, боюсь, протренить это не выйдет
один раз наскрести 10 баксов может и выйдет