RK
Я люблю мир
Size: a a a
2020 May 05
RK
0.00021129
OF
странная там классификация. Пример токсичного комментария: "У тебя воображение - так себе"
RK
я думал
RK
я думаю
RK
надо другой датасет использовать
RK
посмотреть что будет
спасибо большое за помощь
SG
#c3w3
Коллеги, добрый день! Проверьте пожалуйста мой ноутбук. Заранее спасибо!
https://www.coursera.org/learn/unsupervised-learning/peer/ATLR5/vizualizatsiia-dannykh/review/og-PaI2_EeqPSxJQZcUQVQ
Коллеги, добрый день! Проверьте пожалуйста мой ноутбук. Заранее спасибо!
https://www.coursera.org/learn/unsupervised-learning/peer/ATLR5/vizualizatsiia-dannykh/review/og-PaI2_EeqPSxJQZcUQVQ
АК
надо другой датасет использовать
О, анализ тональности отзывов! Я никак не мог побить 0.85, пока не собрал датасет именно по отзывам на мобильные телефоны.
RK
О, анализ тональности отзывов! Я никак не мог побить 0.85, пока не собрал датасет именно по отзывам на мобильные телефоны.
Понял, спасибо
OG
Коллеги, есть старожилы, кто прошёл финальный проект?
OG
Проходили по 1 теме, или по всем?
GB
Что делать если в тестовой выборке оказывается больше категорий чем в обучающей? Что делать с такими объектами? Их выкидывать? Категориальные признаки кодируются OrdinalEncoder.
Поясню на примере: есть признак животное. В обучающую выборку попадают объекты со значениями этого признака: корова, лошадь, свинья. А в тестовую: корова, лошадь, свинья, верблюд. Что делать с верблюдом?
Поясню на примере: есть признак животное. В обучающую выборку попадают объекты со значениями этого признака: корова, лошадь, свинья. А в тестовую: корова, лошадь, свинья, верблюд. Что делать с верблюдом?
A
Все такие признаки (в данном случае верблюд) получат значения 0 для всех дамми-переменных (животное=корова, животное=лошадь)
GB
Все такие признаки (в данном случае верблюд) получат значения 0 для всех дамми-переменных (животное=корова, животное=лошадь)
Для дамми все понятно, но я хотел использовать ordinal encoder. Что делать в этом случае. Просто признаков много и категорий в них тоже достаточно при дамми кодирование таблица сильно разрастается.
A
Пардон, не увидел сразу. Так Вы же должны настраивать OE на всем датасете (до его разбиения).
GB
Пардон, не увидел сразу. Так Вы же должны настраивать OE на всем датасете (до его разбиения).
А я думал как раз наоборот, сначала разбивается датасет, потом только тренировочная выборка изменяется. Если делать по другому, то произойдет утечка данных, т.е. часть информации о данных попадет в тестовую выборку. Во втором курсе специализации, при работе с категориальными признакими, использовали пайплайны при кроссвалидации, чтобы информация не утекла в тестовый фолд.
A
Все правильно, только проблема несоответствия с ОЕ вынуждает либо использовать другие методы обработки категориальных признаков, либо настраивать его на всей выборке. Иногда еще все несоответствующие значения кодируют Nan-ами, -1, 999 и тд.
A
