АН
всем добрый вечер 😊
Size: a a a
2021 November 17
VF
Они разбиваются на несколько сабворд-токенов типа
DD
Во всех современных трансформерных моделях незнакомые слова разбиваются на комбинации знакомых токенов. Токен - это слово, буква, или несколько букв.
Типа так
Символы ## означают, что этот токен является не началом слова, а продолжением.
Поэтому любое слово берт "видит", разница только в том, как сколько слов он их видит.
Типа так
print(tokenizer.tokenize('НДС')) # ['Н', '##Д', '##С']Символы ## означают, что этот токен является не началом слова, а продолжением.
Поэтому любое слово берт "видит", разница только в том, как сколько слов он их видит.
АН
спасибо, ща посмотрю, что токенизатор покажет
у меня было опасение, что те датасеты, на которых эти модели обучались (базовая берта) не встречала такие слова. Тогда норм
у меня было опасение, что те датасеты, на которых эти модели обучались (базовая берта) не встречала такие слова. Тогда норм
АН
не успел в токенизатор засунуть 😃
DD
А так вообще, если у вас есть мнооого неразмеченных бухгалтерских/юридических текстов, рекомендуется расширить словарь модели и дообучить её на этих текстах на MLM-задаче.
Ну или взять модель cointegrated/rubert-tiny2, у неё словарь в несколько раз больше, и слово НДС, например, туда входит целиком.
Ну или взять модель cointegrated/rubert-tiny2, у неё словарь в несколько раз больше, и слово НДС, например, туда входит целиком.
АН
сколько то есть, а есть где-нибудь туториал, как дообучать? cointegrated/rubert-tiny2 попробую, спасибо
DD
Русского тьюториала по MLM я пока не видел.
Если английский язык устраивает, можно посмотреть официальные примеры huggingface: https://huggingface.co/transformers/notebooks.html.
Если английский язык устраивает, можно посмотреть официальные примеры huggingface: https://huggingface.co/transformers/notebooks.html.
АН
более чем, спасибо
B
🔫 Владимир Николаевич кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@LoneGeek, @AlexPushkina, @denis_pizhevsky, @igeti, @EryominAnton
При поддержке Золота Бородача
Проголосовавшие за кик:
@LoneGeek, @AlexPushkina, @denis_pizhevsky, @igeti, @EryominAnton
При поддержке Золота Бородача
B
🔫 @michaaaaell кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@wadimiusz, @Askinkaty, @Pushkinue, @denis_pizhevsky, Petr Maishev
При поддержке Золота Бородача
Проголосовавшие за кик:
@wadimiusz, @Askinkaty, @Pushkinue, @denis_pizhevsky, Petr Maishev
При поддержке Золота Бородача
D
❓
а существуют датасеты русского рукописного текста?
а существуют датасеты русского рукописного текста?
I
Конечно, например наш https://github.com/sberbank-ai/htr_datasets 🙂
D
🙏
может и примеры обучения есть ? 😄
может и примеры обучения есть ? 😄
2021 November 18
BZ
Вариант - неудачно подобранные гиперпараметры. Например, если слишком большой lr, модель может не сойтись
K
Всем привет, мы ищем опытного NLP инженера для решения сложных бизнес задач
B
🔫 @Rita7172 кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@rostel, Andrey, @lzakharov, Quisiariv, @ddaniyarr
При поддержке Золота Бородача
Проголосовавшие за кик:
@rostel, Andrey, @lzakharov, Quisiariv, @ddaniyarr
При поддержке Золота Бородача
МЕ
Коллеги, добрый день!
Помогите пожалуйста ссылкой на имлементацию strided rolling window для токенизированного для трансформера текста?
Или просто посоветуйте, как лучше разрешать ситуацию, когда граница window выпала на середину слова? Разрезать и забить? От'pad'ить нулями до предыдущего целого слова?
Помогите пожалуйста ссылкой на имлементацию strided rolling window для токенизированного для трансформера текста?
Или просто посоветуйте, как лучше разрешать ситуацию, когда граница window выпала на середину слова? Разрезать и забить? От'pad'ить нулями до предыдущего целого слова?