$4-6к и даже больше на руки, если супер релевантный человек найдётся :)

1. Задача классификации, соответственно успех зависит от умения генерить фичи и строить адекватный классификатор
2. Т.к. обучающий датасет несбалансированный — обратить внимание на выбор меры для оцени точности.
3. Если приложение коммерческое — подумать о том, чтобы докупать данные у стронних поставщиков

понял, спасибо

пытаюсь уловить аллюзия гусем, но не могу(  это шутка про русских?

Привет. У меня стартап - приложение для обучения и развития детей от 3 до 6 лет с помощью известных персонажей из мф. Нужен специалист в команду по natural language processing. Было бы вам интересно или подскажите к кому могу обратиться?

Чем занимается команда NLP в вашем стартапе?

Всем привет! Кто нибудь использовал ML/DL для мониторинга серверов или приложений? Возможно NLP для анализа логов или временные ряды/поиск аномалий для мониторинга утилизации сервера? Может есть ссылки или статьи? Похоже в этих целях DS не очень актуально.

@tesemnikov Вот такая книга есть на эту тему, но я её даже не открывал

Обычно делается time series forecasting подходящим методом, а потом реальность сравнивается с прогнозом. Сильное расхождение = аномалия.

В теории про аномалии я примерно так и думал,  но не хочется городить велосипед. За книжку огромное спасибо, если есть ещё что, просьба поделиться.

Controlling Fake News using Graphs and Statistics

This is a guest post by Siddharth Bhatia about their recent work with Christos Faloutsos on anomaly detection in streaming data.

MIDAS, Microcluster-Based Detector of Anomalies in Edge Streams (AAAI 2020) uses unsupervised learning to detect anomalies in a streaming manner in real-time. It was designed keeping in mind the way recent sophisticated attacks occur. MIDAS can be used to detect intrusions, Denial of Service (DoS), Distributed Denial of Service (DDoS) attacks, financial fraud and fake ratings.

MIDAS combines a chi-squared goodness-of-fit test with the Count-Min-Sketch (CMS) streaming data structures to get an anomaly score for each edge. It then incorporates temporal and spatial relations to achieve better performance. MIDAS provides theoretical guarantees on the false positives and is three orders of magnitude faster than existing state of the art solutions.

Paper: https://arxiv.org/abs/1911.04464
Code: https://github.com/Stream-AD/MIDAS

Тут на примере фейкньюс, но мне кажется, что от туда можно выбрать базовые элементами

Вычисления аномалий

а к чему на фотке сток мобилок?

Аномалии (outliers) ещё на метрических алгоритмах делают и ядерных (one class svm, k-means) или просто выбросы по расстоянию посчитанному по межквартильному размаху (q3+k (q3-q1), q1-k(q3-q1), k=3 ).
Если совсем не понятно, в какую сторону копать, то можно посмотреть, что есть в grafana

Grafana и Prometheus - там что-то есть для анализа логов и кейсы всякие собраны.

Спасибо! Буду читать

https://facebook.github.io/prophet/
Prophet используется в фейсбуке для мониторинга железа (и не только). У них анализ сильно завязан на периодичность, то есть может прогнозировать, что по пятницам (или в полнолуние) обычно идут выбросы.

спасибо!