D
Size: a a a
2019 December 26
AS
попробуй взять за основу русскую модель
AS
и дообучить
D
не совместима с gpt-2-simple
D
насколько я понял
AS
а зачем тебе совместимость?
AS
можно еще попробовать препроцессинг
I replaced prefixed whitespace, trimming leading/trailing whitespace in all fields
replace 3+ spaces with newlines
deleted all 2+ spaces
dropped poems with <100 characters (generally a scrape error)
remove Unicode junk
serialize it as title+author+tags (if any) / poem / <|endoftext|> (ie the inline metadata trick, allowing for potentially better learning and a small degree of control in conditional generation)
I replaced prefixed whitespace, trimming leading/trailing whitespace in all fields
replace 3+ spaces with newlines
deleted all 2+ spaces
dropped poems with <100 characters (generally a scrape error)
remove Unicode junk
serialize it as title+author+tags (if any) / poem / <|endoftext|> (ie the inline metadata trick, allowing for potentially better learning and a small degree of control in conditional generation)
AS
D
текст должен быть максимально голым, даже если я тупо скопипастил статьи с ведомостей и затем сразу же с BBC UK в один файл как попало
D
а зачем тебе совместимость?
чтобы работать и работало чере gpt-2-simple
D
со стихами плохой пример, так как они подчиняются большему количеству правил чем тупо текст
AS
должен быть - это чем продиктовано?
D
тем что хоть дамп с баша или анекдотру в
txt качай и закидывай - это всё должно завестись без проблемD
дабы не сидеть часами и не форматировать "как надо"
AS
ну с таким подходом я думаю тебе не стоит ожидать качества
D
а надо бы, хотя бы в пределах правдоподобности "любая переписка в чатике"
A
можно взять датасет от яндекса с перепиской в чатиках
D
пардон, а через какую пятую точку его доставать не в форматах типа xml/raw?
D
чисто txt
D
я чего-то не нашёл