В тг довольно удобно слушать подкасты, можно кешировать аудио, так же есть бот, который вытаскивает аудио из видео

Круто.

Кажется, готово: @neurotea. Будем рады всех видеть)

вот это я вовремя зашел сюда)

Всем привет! Недавно начал изучать spacy. Играюсь с русской моделью. Возник вопрос по NER. Как трейнить доп. entity types я нашёл. Но мне пока не совсем очевидно, какого рода данные надо скармливать. В примерах используются очень простые предложения. Это верный подход, или нужно подбирать намного более сложные примеры для разметки? Или вообще без разницы? П.С. Хочу извлекать данные о помещениях в доме (кухня, ванная, спальня, прихожая и т.п.) и разнообразных устройствах (телевизор, кондиционер, стиральная машина и т.п.).

Ну вне зависимости от фреймворка твои трейн предложения должны походить на те, на которых ты будешь применять модель. Иначе все обучение происходило бы моментально

Понял, спасибо.

Привет! Есть у меня значит два предложения:
   "why isn't Alex's text tokenizing? The house on the left is the Smiths' house"

Давайте сделаем с ними tokenize и decode:
   from transformers import BertTokenizer
   tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True)
   tokenizer.decode(tokenizer.convert_tokens_to_ids(tokenizer.tokenize("why isn't Alex's text tokenizing? The house on the left is the Smiths' house")))

Получим:
   "why isn't alex's text tokenizing? the house on the left is the smiths'house"

Видим что BERT не справился с задачей. Как можно решить проблему слипания слов по типу smiths'house?
Лично мне кажется что токенизация в Transformers сделана просто неправильно. Давайте посотрим на неё в данном примере:
   tokenizer.tokenize("why isn't Alex's text tokenizing? The house on the left is the Smiths' house")

Получим:
   ['why', 'isn', "'", 't', 'alex', "'", 's', 'text', 'token', '##izing', '?', 'the', 'house', 'on', 'the', 'left', 'is', 'the', 'smith', '##s', "'", 'house']

Таким образом мы потеряли важную информацию об апострофах на этом шаге. Если бы токенизация была бы проведена иным образом:
   ['why', 'isn', "##'", '##t', 'alex', "##'", '##s', 'text', 'token', '##izing', '?', 'the', 'house', 'on', 'the', 'left', 'is', 'the', 'smith', '##s', "##'", 'house']

Вся информация об апострофах была бы сохранена. Вопрос почему так сделано и как исправить ситуацию?

А откуда берт?  В хаггинфейсе вроде можно настроить какие слова не делить

А все. Трансформерс) значит где то там есть

я читал на ODS твоё сообщение.. ну, похоже на баг, да.

Чего-то не могу найти. В документации есть encode и encode_plus, но не вижу как это настроить.

а я у тебя вообще не вижу разделителей слов. скажи, каковы правила разделения слов и вставки пробелов между токенами?

Что ты имеешь ввиду под правилами?
Я просто делаю tokenizer.tokenize()

а какая обратная процедура "детокенизации"?

Просто делаю tokenizer.decode()

смотри прикол:
>>> tokenizer.decode(tokenizer.encode("why isn't Alexs' text tokenizing?The house on the left is the Smiths'house"), clean_up_tokenization_spaces=False)                                            
"[CLS] why isn ' t alexs ' text tokenizing ? the house on the left is the smiths ' house [SEP]"

т.о., это косяк функции decode с ключом удаления пробелов

а на самом деле оно *добавляет* тебе пробел перед и после апострофа

Интересно. Но поможет ли это в решение моего вопроса?