D
я не теоретик и знакомых профессоров не имею
Size: a a a
2020 July 24
D
блять ну нет такого токенайзера, ру гпт обучена с помощью yttm, потому что так решил автор. И никто тебе за бесплатно подгонять его под твои нужды не будет
ну класс, чего уж, чекпоинтов, наверное, тоже нет
CT
причем тут чекпоинты вообще
D
а как я иначе должен исправить это досадное недоразумение?
CT
ну берешь токенайзер от ру гпт, вытаскиваешь словарь и подгоняешь под формат токенайзера из трансформерс. Точнее ответить не могу, потому что сам этого не делал. На вскидку, не совсем очевидно как генерить merges.txt, но думаю можно разобраться, если воспользоваться методом пристального взгляда
D
ты подразумеваешь что я понимаю как это делать, пожалуйста объясни это так, будто я впервые открыл colab.
D
merges и vocab gpt-2 large выглядят так:
https://cdn.huggingface.co/gpt2-large-merges.txt
https://cdn.huggingface.co/gpt2-large-vocab.json
https://cdn.huggingface.co/gpt2-large-merges.txt
https://cdn.huggingface.co/gpt2-large-vocab.json
CT
ну посмотри для начала что такое yttm, как там хранится словарь и как его оттуда вытащить, потом посмотри в каком формате слварь хранится в токенайзере гпт из трансформерс и сопоставь. Как минимум сорцы всего открыты и лежат на гитхабе, словари тоже, тут не нужно быть семь пядей во лбу датасаентистом чтобы осознать, как всё это работает и что куда нужно передавать
D
ещё помимо этого мне надо подкрутить количество слоёв чтобы пододвинуть её поближе к уровню gpt-3
EZ
ещё помимо этого мне надо подкрутить количество слоёв чтобы пододвинуть её поближе к уровню gpt-3
Кек
CT
земля пухом, чо
D
классное объяснение этого момента, это вызвало у меня внезапное озарение (нет)
CT
ну ты можешь открыть статью и посмотреть, сколько параметров в разных версиях гпт-3, какой там размер контекста используется и на каком кол-ве данных модели учились
D
мне бы где-то до уровня между XL и 13Б подкрутить
D
тобишь нащупать "золотую середину", при которой модель и учится нормально и не деградирует
CT
у тебя есть железо чтобы учить и инферить модель с 13В параметров?
D
у меня есть colab, всё, никаких сторонних серверов и тесл
D
поэтому и настаиваю на "золотой середине" (ну ещё и из-за размера на диске)