A
именно. Соответственно я предполагал, чтобы посадить flair->bert->полезная информация
Size: a a a
2020 February 18
A
Ну почитай про bpe словарь, как пример
по каким ключевым словам искать?
c
по каким ключевым словам искать?
Bpe vocabulary, собственно
A
ок, я вбил dictionary и получил тыкву
A
просто у меня все время в голове картинка из какой-то статьи, где word embeddings получаются из отдельных символов - делается convolution по 3, 4 и 5 символов и потом max pooling по ним и все склеивается вместе
CT
Имхо, бпе использовать намного лучше, чем чар левел эмбеддинги
A
ок, буду думать, спасибо
YB
просто у меня все время в голове картинка из какой-то статьи, где word embeddings получаются из отдельных символов - делается convolution по 3, 4 и 5 символов и потом max pooling по ним и все склеивается вместе
ну вот то ты берёшь 5 символов и делаешь по ним эмбеддинг в CNN, а то ты берёшь BPE-код, соответствующий этим же 5 символам, и делаешь по нему эмбеддинг в трансформере...
NS
вот я смотрю на BERT и он же ведь всегда везде word-level, да?
У Берта нет словаря, там tokenizer на символы.
YB
У Берта нет словаря, там tokenizer на символы.
он BPE-словарь имеет в виду
NS
И как оно резюмирует? Достаёт предложения целиком или додумывает само?
Додумывать тоже может
NS
A
ну вот то ты берёшь 5 символов и делаешь по ним эмбеддинг в CNN, а то ты берёшь BPE-код, соответствующий этим же 5 символам, и делаешь по нему эмбеддинг в трансформере...
если у меня отдельные символы, словарь символов может иметь очень низкую размерность, потому что символов в принципе мало
A
собственно это и есть причина, почему я не хочу word-level словари. Они большие
YB
если у меня отдельные символы, словарь символов может иметь очень низкую размерность, потому что символов в принципе мало
какая разница? где-то на каком-то слое размерность в эмбеддинге у тебя должна будет быть большой, или качество упадёт сильно на более редких словах.
A
в том случае, на который я смотрю, мне не очень важны редкие слова, потому что мне надо вычленить "команду" - она будет из не-редких слов - а остальное взять "as is" обычно
YB
в том случае, на который я смотрю, мне не очень важны редкие слова, потому что мне надо вычленить "команду" - она будет из не-редких слов - а остальное взять "as is" обычно
тогда ты просто можешь игнорировать все ненужные слова и в word-level словаре для них держать unknown, или использовать char-ngrams embeddings по схеме fasttext, или hash-embeddings по схеме spacy.
A
какого размера словарь для этого?
A
кроме того, я не знаю заранее какие слова нужные, а какие нет. Скорее всего есть редкие и не редкие. Я готов допустить, что редкие превратятся в unknown, но не хочу заранее привязываться к этому