A
В целом это не важно, я просто задал так метки не подумал сразу
Size: a a a
2021 December 07
IG
потому что по умолчанию он 50256, то есть <|endoftext|>
IG
ну то есть eos_token_id в обучении и применении должны быть согласованы: либо 50256 (<|endoftext|>) везде, либо 50258 (<endoftext>) везде
A
А вот если так уже обучать начал
tokenizer = GPT2Tokenizer.from_pretrained("gpt-2", bos_token='<startoftext>', eos_token='<endoftext>', pad_token='<pad>')
Что-то можно исправить при применении модели? Или заново переобучать нужно?
tokenizer = GPT2Tokenizer.from_pretrained("gpt-2", bos_token='<startoftext>', eos_token='<endoftext>', pad_token='<pad>')
Что-то можно исправить при применении модели? Или заново переобучать нужно?
IG
ещё раз: eos_token_id=50258 в generate
IG
там есть такой аргумент
A
Да. Понял. Спасибо большое. При обучении я так понял это же не влияет? Ведь там я generate не вызываю. Или там тоже что то в Trainer надо было добавлять?
IG
Только к текстам руками надо было добавить этот токен в обучающей выборке
A
Я как раз так тексты и делал, в таком формате. Т.е. такая строка получалась в таком виде
prep_txt = '<startoftext>Title: Test title\nGenerated Text: I love apples very much<endoftext>'
prep_txt = '<startoftext>Title: Test title\nGenerated Text: I love apples very much<endoftext>'
IG
Тогда должно быть ок
A
Ещё раз спасибо. Проверил на нескольких генерациях - все работает как нужно. А то уже думал отдельный классификатор мусора обучать для обрезки )
AP
Всем привет! Прошу заранее извинить, очень базовый вопрос. Посоветуйте, пожалуйста, статьи и книги, где есть история развития искусственного интеллекта, а так же рассматриваются различные определения искусственного интеллекта, будут очень полезны.
DD
SМ
Норвиг и Виннер вроде бы в первую очередь про кибернетику?
SМ
Хотя что Виннер, что Норвиг, что Тьюринг всё оттуда
SМ
И перекат в ИИ
DD
Вот да. У меня сложилось ощущение, что в середине XX века слово "кибернетика" было баззвордом, обозначающим любые нетривиальные алгоритмы, таким же, как "ИИ" сегодня, и "биг дата" 10 лет назад.
SМ
Но та книжка зелёная это просто Библия уже)
SМ
Была у меня в натуре такая