Большое спасибо

Хелп, вопрос от глупых, как заменить слой nn.Embedding на Берта или проще вобще не использовать Embedding, а вектора Берта получать в даталоадере?

Можно загружать через Dataset, где в getitem написать преобразования БЕРТ. Иначе - в инициализации модели добавить уровень self.bert = BERT_model() (вместо nn.Enbedding) и затем в forward вызвать

Тут пример есть кода

Привет! Есть датасет из диалогов с техподдержкой на русском языке. Датасет очень грязный и есть много диалогов с пропущенными фразами, с обрезанным началом или концом диалога. Пытаюсь решить задачу определения таких некорректных диалогов.

Пока посчитал некоторые метрики, например, кол-во фраз в диалоге, кол-во фраз первого и второго участника диалога, максимальное кол-во фраз идущих подряд, средняя длина фразы в диалоге, пытался просто фильтровать по этим метрикам, но результаты так себе, не знаю, что с ними еще можно сделать.

Есть еще идея:  взять другой датасет с корректными диалогами, часть диалогов этого датасета "испортить" (повыкидывать реплики или пообрезать их) и попробовать обучить классификатор таких диалогов.

В какую сторону копать?

У меня немного опыта с conversational данными, каким вообще способом можно векторизовать целый диалог, если он представлен отдельными строками в датастете? В каком виде его можно подать на вход модели? Какая тут обычно практика?

Диалог вида:

Клиент: добрый день, у меня сломалось то и то
Оператор: добрый день, мне нужна дополнительная информация
Оператор: скажите пожалуйста такой-то идентификационный номер
Клиент: вот мой идентификационный номер

Самый простой способ - размечаешь все твои вопросы по категориям (меткам), обучаешь классификатор, коих уже бесчисленное множество.

Ну а ответы просто забиты в базу

Deos anyone have nlp project source code

хочется запинить

Коллеги, функция

model = AutoModel.from_pretrained("canwenxu/BERT-of-Theseus-MNLI")

на сервере неожиданно убивает сервер.
На локальной машине все работает.
Проверили с distilbert - то же самое, никто не сталкивался? Никаких ошибок не выдает, неожиданный скачек расхода памяти (но далеко в пределах характеристик сервера) и перегружается сервер.

Я вот думаю, можно эту функцию как-то разбить на несколько, посмотреть, на какой стадии происходит ошибка?

Приветствую, товарищи.

Надеюсь , данное письмо застигнет Вас в добром здравии.

Алгоритмы кластеризации используют различные метрики расстоянии между объектами, ну, вроде Чебышева, Манхэтонское расстояние и прочие.

Например, в  k-means Евклидово.

Вопрос следующий: есть ли техническая возможность, используя популярную реализацию алгоритма кластеризации (например, в  sklearn) , предложить алгоритму свою метрику ?

Мол, делаем всё как обычно, но, вот, уважаемый алгоритм DecisionTreeClassifier(), вместо индекса Джинни (если не ошибаюсь , там это используется для метрики расстояний между объектами) используй мою.

кажется в sklearn такой возможности нет

https://github.com/scikit-learn/scikit-learn/blob/95d4f0841d57e8b5f6b2a570312e9d832e69debc/sklearn/tree/_classes.py#L62
только грязными хаками

Благодарю

Благодарю, на что то подобное надеялся

но есть модели которые принимают callable в види метрики

например

https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html

>metric: string or callable, default ‘minkowski’