В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

NLP_RU - Natural Language Processing & Text Mining

346 membersпожаловаться на группу
2020 August 14

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
Доброго времени суток всем!

У меня очень-очень странные вещи происходят.
Использую sklearn. Задача: Классификация текстов. 7 классов 300-500 текстов на каждый.

Пускаю текст (не из тренировочных данных) на pipe.predict(...) и каждый раз получаю разные результаты. Это нормально?

Как я предполагаю библиотека не очень для классификации. Какой посоветуете?

python 3.8, sklearn
pipe = CountVectorizer(), TfidfTransformer(), RandomForestClassifier()
источник
17:32пожаловаться#1

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Доброго времени суток всем!

У меня очень-очень странные вещи происходят.
Использую sklearn. Задача: Классификация текстов. 7 классов 300-500 текстов на каждый.

Пускаю текст (не из тренировочных данных) на pipe.predict(...) и каждый раз получаю разные результаты. Это нормально?

Как я предполагаю библиотека не очень для классификации. Какой посоветуете?

python 3.8, sklearn
pipe = CountVectorizer(), TfidfTransformer(), RandomForestClassifier()
Нет, ненормально.
А как ты запускаешь?
Будет круто, если дашь полный код для воспроизведения.
Кажется, что RandomForestClassifier на применении должен быть вполне детерминированным.
источник
17:33пожаловаться#2

D•

Dan • Captain in NLP_RU - Natural Language Processing & Text Mining
https://pastebin.com/VnayePGA
Pastebin
from sklearn.ensemble import RandomForestClassifierfrom sklearn.pipeline impor - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
источник
17:37пожаловаться#3

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
спасибо_)
источник
17:37пожаловаться#4

D•

Dan • Captain in NLP_RU - Natural Language Processing & Text Mining
Бот лютует :)
источник
17:37пожаловаться#5

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
не могу и фотки кидать?
источник
17:40пожаловаться#6

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
ужас)
источник
17:40пожаловаться#7

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
источник
17:40пожаловаться#8

D•

Dan • Captain in NLP_RU - Natural Language Processing & Text Mining
Уже можно
источник
17:40пожаловаться#9

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
Нет, ненормально.
А как ты запускаешь?
Будет круто, если дашь полный код для воспроизведения.
Кажется, что RandomForestClassifier на применении должен быть вполне детерминированным.
такие разные результаты получаю
источник
17:41пожаловаться#10

D•

Dan • Captain in NLP_RU - Natural Language Processing & Text Mining
Бот гадит...
источник
17:41пожаловаться#11

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
такие разные результаты получаю
А у тебя в start.py и обучение включено? Если да, то понятно почему разные результаты - random forest при обучении случайным образом перемешивает выборку и удаляет некоторые признаки для некоторых деревьев.
Чтобы это рандом обуздать, надо при инициализации random_state задавать.
источник
17:51пожаловаться#12

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
А у тебя в start.py и обучение включено? Если да, то понятно почему разные результаты - random forest при обучении случайным образом перемешивает выборку и удаляет некоторые признаки для некоторых деревьев.
Чтобы это рандом обуздать, надо при инициализации random_state задавать.
да, .fit_train(...)
источник
17:52пожаловаться#13

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
А у тебя в start.py и обучение включено? Если да, то понятно почему разные результаты - random forest при обучении случайным образом перемешивает выборку и удаляет некоторые признаки для некоторых деревьев.
Чтобы это рандом обуздать, надо при инициализации random_state задавать.
Есть ли другие, кроме random forest?
источник
17:52пожаловаться#14

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Есть ли другие, кроме random forest?
Другие алгоритмы есть, но почти во всех присутствует та или иная случайность. Например, в логистической регрессии (и всех нейросетях, которые от нее производные) случайно выбираются начальные значения коэффициентов, и обычно случайным образом выборка делится на батчи.
Так что привыкай к random_state. RandomForest хотя бы с ним воспроизводим, а многие другие алгоритмы на практике не воспроизводимы в принципе.
источник
17:55пожаловаться#15

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Есть ли другие, кроме random forest?
Ну и RF в целом обычно довольно стабильные вероятности из раза в раз предсказывает. Ты сейчас ему на вход просто подал вырожденный пример (многоточие), в котором никакой особо информации нет.
источник
17:56пожаловаться#16

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
Ну и RF в целом обычно довольно стабильные вероятности из раза в раз предсказывает. Ты сейчас ему на вход просто подал вырожденный пример (многоточие), в котором никакой особо информации нет.
Там текст и довольно большой. Просто скрыл для удобства чтения
источник
17:57пожаловаться#17

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Там текст и довольно большой. Просто скрыл для удобства чтения
Ну значит то ли у тебя либо обучающая выборка не очень хорошо разделима, либо сам текст слишком неоднозначный для такой модели. Потому что предсказанные вероятности для всех категорий примерно одинаковые, т.е. кажется что модель очень неуверена.
источник
18:04пожаловаться#18

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Есть ли другие, кроме random forest?
А вообще попробуй LogisticRegression. Это для классификации текстов часто наилучшее решение.
А ещё часто достойное качество даёт fasttext, и он тоже легко заводится. Но fasttext - нейронка, так что там тоже могут быть трудности с воспроизводимостью.
источник
18:12пожаловаться#19

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
А вообще попробуй LogisticRegression. Это для классификации текстов часто наилучшее решение.
А ещё часто достойное качество даёт fasttext, и он тоже легко заводится. Но fasttext - нейронка, так что там тоже могут быть трудности с воспроизводимостью.
Будет ли решением сохранить модель на следующие использования? будет ли выдаваться одинаковые результаты?
источник
18:20пожаловаться#20