Установить необходимый драйвер через pip

этот подход - на эвристиках. если бы сам человек спам от спама отличал...

вообще спам - это все что нерелевантно. вот чат datascience, а вдруг кому-то ссылка на 18+ hot girls полезна окажется?)) на то и расчёт спамеров))

короче к вашему диплому. берете контент ссылки и контент ПО ссылке сообщения (если есть), получаете вложение. с другой стороны берете описание чата, тематически моделируете его сообщения, на основе опять же вложений.

эвристика такая тогда: подозрительное сообщение имеет косинусное расстояние около нуля от представительных по тематике чата, и близкое к темам спама.

направление мысли короче такое. смотрите berttopic пакет и "лёгкие" модели вложения текстов (дистилированные).

А сколько примерно по времени таблица с весом 62 гига будет выгружаться в дата фрейм?

Мне кажется анализ каждого чата на "правильные" сообщения это перебор
Мне кажется, что тут больше должна быть не классификация, а кластеризация текста (включая контент по ссылке), т.е. обучение без учителя
Или это я слишком оптимист?

А столько оперативы у тебя будет,чтобы в df выгрузить?)

Т.е. я вижу это следующим образом:
Челы, которые админы, будут помечать сообщения в разных чатах как спам и бот будет это запоминать
Ведь все боты работают по одному принципу почти, наличие внешней ссылки на другой чат или внешний сайт + какой-то текст по типу "Все шлюхи твоего города" или эмодзи клубничек, или какие-то суммы рублей в случае заработков, или "даркнет", что там ещё популярно среди них

Вот мне бы прийти к конкретному алгоритму который наиболее эффективен будет для моей задачи
Я вроде бы я это всё прочитал, но мне трудно решить однозначно: мне нужно обучаться на правильных и неправильных сообщениях вместе (по типу бинарной классификации), или только на плохих сообщениях путём поиска сходства (какого-то рода K-means clustering)

Вот это я дико затупил

Тут же чанками нужно делать?

вот это как раз классификация- с разметкой. админам вот делать больше нечего, как вам диплом.

berttopic посмотрите. там как раз без учителя алгоритмы.

А что делать хочется?
Если какие-то статистики посчитать, EDA, то лучше это прям в CH это делать

Ок, спасибо

Классификация вроде

Нужно график объема бд за каждую неделю

ребят, а как сейчас с удаленкой по мл позициям?

а как бороться со спамом в виде контактов типа "секс знакомства" и т.д., что посоветуете?

Спасибо! Получилось.

а зачем с ним бороться? наслаждайтесь))

а по существу - ну да так же. я уверен что спам-фильтры в том же gmail включают и общую и персональные части.

ОК будем тогда копать в т у сторону

Если не удаленка и платят не 15к$+ в месяц, то надо валить

Ради такого точно не стоит тащить все данные. Это простейший sql запрос, который лучше выполнить в clickhouse, и потом уже нарисовать полученный результат