Всем привет. Приглашаю всех, кто разбирается в DS/ML, в эксперты нашего сообщества на яндекс кью. У нас много интересных вопросов, но с компетентными ответами бывают проблемы, поэтому буду очень рад новым экспертам.

Не удержался) это была шутка)

тут было трудно не удержаться

Вам сюда https://t.me/datascienceflood

Я уже там

Ахах

Вай

привет. подскажите пж как работать с оперативной память в питоне при использовании pandas для больших таблиц. такая ситуация: функция считывает фрейм большой, отрабатывает, затем идут еще ряд функций, которые тоже жрут память. пробовал del, но он не работает. как можно избавляться от мусора в процессе работы?

после del

import gc; gc.collect()

Всем привет. Возникла странная проблема.

sns.lineplot(data = test[test.segment == '0-5'].groupby('variable').mean())
и

fig = sns.lineplot(x=test.variable, y=test.value, data=test[test['segment'] == '0-5'])
выдают разные результаты (динамика на графике одна, но значения во втором примере на 1к больше. Есть ли идеи, с чем это может быть связано?
Пробовал передать estimator - картина не меняется.

upd решил: просто вместо x и y надо было задавать относительно ( 'variable', 'value'), а не абсолютные

Здравствуйте, имеется вопрос по классификации текста.

Сейчас используем лог регрессию для классификации текстов. На вход модели подаём матрицу, полученную с помощью TF-IDF.

Заказчик спрашивает, можно ли самим задать набор слов, ключевых для каждого класса, что бы модель как бы обращала на них в первую очередь. В качестве реализации этой идеи мне приходит в голову только добавить к уже имеющийся матрицы TF-IDF one-hot фичи этих заранее известных слов. Типо, если слово встречается в тексте, то у соответствующей фичи проставляется флаг. С другой стороны, это слово и так уже должно присутствовать в матрице TF-IDF, тогда есть ли вообще смысл в этой отдельной фичи?... Если вообще смысл пытаться реализовывать подобную "помощь" для модели? И куда лучше копать для улучшения точности классификации текста?

либо настроить tfidf, либо более тяжёлую артиллерию заюзать.

а для начала можно же посмотреть, что для класса логрег самым важным считает

да, конечно уже смотрели, но те слова, которая логрег определяет для себя как важные, не совпадают с ожиданием заказчика.

Что стоит использовать в качестве тяжёлой артиллерии?

Всем привет! Такой вопрос. В наборе данных категориальные и непрерывные фичи. Категориальные прошли через one-hot encoding. Нужно ли стандартизировать категориальные фичи после енкодинга вместе с непрерывными или стандартизацию нужно делать только для непрерывных?

BERT какой

какой?

Привет, посоветуйте пожалуйста хороший курс по машинному обучению. Заранее спасибо!

Andrew Ng самый лучший

Мне очень зашла специализация физтеха и Яндекса на курсере, вроде называлась "Машинное обучение и анализ данных" - супер годно для того, чтобы прямо с нуля учиться)

Да можно и обычный, если дообучить