В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

NLP_RU - Natural Language Processing & Text Mining

359 membersпожаловаться на группу
2020 August 14

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Будет ли решением сохранить модель на следующие использования? будет ли выдаваться одинаковые результаты?
Да, будут одинаковые.
Но я всё равно очень рекомендую random_state указывать. Это просто хорошая привычка, как руки мыть)
источник
18:21пожаловаться#1

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
David Dale
Да, будут одинаковые.
Но я всё равно очень рекомендую random_state указывать. Это просто хорошая привычка, как руки мыть)
так и не понял как его ставить, гугл не помог
источник
18:27пожаловаться#2

TR

Tatiana Rogovich in NLP_RU - Natural Language Processing & Text Mining
при определении модели RF как один из параметров
источник
18:27пожаловаться#3

TR

Tatiana Rogovich in NLP_RU - Natural Language Processing & Text Mining
https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
scikit-learn.org
3.2.4.3.1. sklearn.ensemble.RandomForestClassifier — scikit-learn 0.23.1 documentation
scikit-learn: machine learning in Python
источник
18:27пожаловаться#4

MT

Michael Tkach in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
Там текст и довольно большой. Просто скрыл для удобства чтения
Чувак, если в пастбине полная копипаста твоего кода, то у тебя обучение происходит только на тексте из первого файла ( строка 20 в pastebin . com / VnayePGA )
источник
20:12пожаловаться#5

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
Michael Tkach
Чувак, если в пастбине полная копипаста твоего кода, то у тебя обучение происходит только на тексте из первого файла ( строка 20 в pastebin . com / VnayePGA )
для каждого файла из категорий:
 открыть файл текстов с категорями как цель:
  читать цель и добавить в тренировочную дату


каждый файл категории имеет вес в 10-15 мегабайт, разделенных между собой двумя энтерами
источник
20:14пожаловаться#6

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
то есть все тексты в одном файле,  они разделены между собой
источник
20:15пожаловаться#7

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Враг Дурова
то есть все тексты в одном файле,  они разделены между собой
в строке 20 ты на каждой итерации считываешь cats[0], т.е. только первый файлик. Так что Михаил прав)
источник
20:19пожаловаться#8

MT

Michael Tkach in NLP_RU - Natural Language Processing & Text Mining
Для каждой категории тьі открьіваешь "trains/00.txt", читаешь одни и те же первьіе 700 строк и говоришь, что они есть текста для твоей категории
источник
20:19пожаловаться#9

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Теперь понятно, почему модель такая неуверенная - у неё для всех 7 классов одинаковые примеры были 🙃
источник
20:19пожаловаться#10

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
вот оно что
источник
20:19пожаловаться#11

MT

Michael Tkach in NLP_RU - Natural Language Processing & Text Mining
В итоге после обучения на любой текст в идеале должно отдавать одинаковьіе скорьі
источник
20:19пожаловаться#12

DD

David Dale in NLP_RU - Natural Language Processing & Text Mining
Michael Tkach
В итоге после обучения на любой текст в идеале должно отдавать одинаковьіе скорьі
Должно было, но randomForest их поресэмплил случайно, и получились неодинаковые
источник
20:20пожаловаться#13

MT

Michael Tkach in NLP_RU - Natural Language Processing & Text Mining
Но они немного разньіе из-за рандомной инициализации, о которой говорилось вьіше
источник
20:20пожаловаться#14

MT

Michael Tkach in NLP_RU - Natural Language Processing & Text Mining
David Dale
Должно было, но randomForest их поресэмплил случайно, и получились неодинаковые
да
источник
20:20пожаловаться#15

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
Спасибо! я бы не догадался_)
источник
20:20пожаловаться#16

В

Враг Дурова... in NLP_RU - Natural Language Processing & Text Mining
заработало, вот где подвох
источник
20:37пожаловаться#17
2020 August 17

D•

Dan • Captain in NLP_RU - Natural Language Processing & Text Mining
Делюсь годнотой
https://deponysum.com/2020/01/16/recent-advances-in-natural-language-processing-some-woolly-speculations/
DePonySum
Recent advances in Natural Language Processing- Some Woolly speculations
If you enjoy this article, please check out my free book by clicking Here: “Something to Read in Quarantine: Essays 2018-2020.” Natural Language Processing (NLP) per Wikipedia: “Is a su…
источник
11:14пожаловаться#18

rd

rus dacent in NLP_RU - Natural Language Processing & Text Mining
#НейронныеСети
[Russian]

Title: Обработка естественного языка в действии

Author: Хобсон Лейн, Ханнес Хапке, Коул Ховард
Year: 2020
Pages: 576
ISBN: 978-5-4461-1371-2
Screenshot: https://t.me/bzd_screenshots/5816

Description: Эта книга станет вашим руководством по созданию программ, способных распознавать и интерпретировать человеческий язык. В издании рассказано, как с помощью готовых пакетов на языке Python извлекать из текста смыслы и адекватно ими распоряжаться. В книге дается расширенная трактовка традиционных методов NLP, что позволит задействовать нейронные сети, современные алгоритмы глубокого обучения и генеративные приемы при решении реальных задач, таких как выявление дат и имен, составление текстов и ответов на неожиданные вопросы.

@bzd_channel
источник
15:37пожаловаться#19

rd

rus dacent in NLP_RU - Natural Language Processing & Text Mining
Обработка_естественного_языка_в_действии_2020_Хобсон.pdf
(27.17 Мб)
источник
15:37пожаловаться#20