А никто не сталкивался с https://monq.ru ? (не реклама) Вроде бы отечественные ребята, продвинутые решения по мониторингу и алерту делают

Я сам в руках не держал, но с ребятами знаком. Очень грамотные, продукт вырос из серьезных проектов для госов, но и крупные коммерческие заказчики у них тоже есть. Посмотреть и попробовать точно стоит.

Привет! Это чатик со строгими правилами.

* Спамеры караются мгновенно, автоматически и навсегда.
1. Первые три сообщения от вас в этом чатике не должны содержать ссылок или форвардов. Включен авто-бан и удаление первого сообщения нового пользователя, если оно содержит ссылку.
2. Нетехдирские темы или использованием икс-лексики приводят к санкциям.  Любой может ответом на ваше сообщение написать "!report" и после трёх таких жалоб вы уходите в молчанку на 30 минут.
3. Особо неадекватные могут заработать до 5 предупреждений от админов, после чего автоматически уходят в молчанку на сутки.
4. Все GIF и видео, аудио автоматически удаляются
5. Любые формы рекламы или объявления о вакансиях только по согласованию с основателем чатика.

Чтобы согласиться с правилами и общаться в чатике, нажми кнопку ниже этого текста!

https://www.youtube.com/watch?v=LXqtzF1PaTg
#лекции Алексейцев Александр: Прогнозирование продаж интернет-магазина с помощью градиентного бустинга (lightGBM).

В OZON.ru разработали автоматическую систему пополнения склада.

Мозг системы - ML для прогнозирования продаж.
- Постановка задачи и выбор лосс-функции.
- Feature enginering - около 180 признаков. Расскажу, как сочиняли, а потом отбирали признаки. Как дать "понять" модели сложные сезонные особенности спроса на товары, выход на рынок конкурента, неожиданный хайп и такое же неожиданное забвение.
- Генерация дата-сета - известные и не очень баги Spark, сложные джойны, оконные функции и многое другое.
- Выбор модели - перепробовали все на свете (линейную регрессию все же обыграли).
- Подводные камни процесса обучения lightGBM - выбор гиперпараметров, регуляризация, балансировка выборки.
- Оценка результатов - как убедить весь мир (и себя заодно), что все работает хорошо.

Скелет системы - Spark/Hadoop/.
- Весь код написан на Spark (около 5к строк).
- Ежедневная доставка/валидация данных.
- Решения по повышению надежности системы (если упадем, OZON просто ничего не закупит).

Бизнес-реалии закупок товаров.
- Выбор поставщика.
- Страховые запасы.
- Борьба с уровнем сервиса поставщиков.

БОНУС: использование обученных lightGBM-моделей для оценки эластичности спроса на товары по цене планирования маркетинговых акций и эффекта от них. Разные виды функций зависимости спроса от цены для разных типов товаров и многое другое получили как "побочный" эффект от основной задачи.

https://www.youtube.com/watch?v=UThlbrS3AUU
#лекции  (продолжение доклада Александра Алексейцева через год)
Машинное обучение (lightGBM) и теория вероятностей для предсказания продаж и оптимизации запасов интернет-магазина OZON.RUOZON.RU

- Обучение ML-моделей для потоварного предсказания спроса.
Подводные камни в формировании обучающей выборки (балансировка, очистка данных).
Подбор гиперпараметров и постобработка результатов.
Unsupervised-кластеризация временных рядов как фича для обучения supervised-классификатора товаров без истории продаж.
Первые шаги с LSTM-сетями.

- Математика и теория вероятностей в процессах пополнения складов.
Оценка распределений ошибок прогноза, ошибок поставок (опоздания, "недовозы" поставщиков).
Расчет страховых запасов на основе полученных распределений.

- Методы оптимизации в ценообразовании.
Оптимизация цен товаров для максимизации оборота с ограничением по марже.
Применение моделей предсказания продаж в оптимизации цен. Линеаризация сложной модели для ускорения работы оптимизатора.

- Замкнутый цикл разработки ML-решений для продакшна. Бизнес-применение ML.
feature engineering -> model selection -> training -> results evaluation -> feature engineering -> ...

- Работа с большими данными. Как заставить Spark быть параллельным.
Сбор данных и генерация фич на Spark. Подбор настроек Spark для достижения высокой степени параллельности вычислений. Осознанное репартиционирование таблиц для равномерной нагрузки на вычислительные ноды.

Привет! Это чатик со строгими правилами.

* Спамеры караются мгновенно, автоматически и навсегда.
1. Первые три сообщения от вас в этом чатике не должны содержать ссылок или форвардов. Включен авто-бан и удаление первого сообщения нового пользователя, если оно содержит ссылку.
2. Нетехдирские темы или использованием икс-лексики приводят к санкциям.  Любой может ответом на ваше сообщение написать "!report" и после трёх таких жалоб вы уходите в молчанку на 30 минут.
3. Особо неадекватные могут заработать до 5 предупреждений от админов, после чего автоматически уходят в молчанку на сутки.
4. Все GIF и видео, аудио автоматически удаляются
5. Любые формы рекламы или объявления о вакансиях только по согласованию с основателем чатика.

Чтобы согласиться с правилами и общаться в чатике, нажми кнопку ниже этого текста!

Дичь какая-то про мышиное облучение (ничего личного). Реально лучше считает товарные запасы, чем экстраполяция?

Да, там в конце второго доклада задают именно этот вопрос

о, я во втором посмотрел план-проспект, и даже открывать не стал, погляжу

Очень конструктивное отношение к одному из топ-овых по оценкам посетителей конференции докладов :)

c машинным обучением все становится лучше, от двух до минус полутора раз

Ну highload давно стал не столько "докладным" местом, а местом, куда за рабочий счет можно приехать потрындеть со знакомыми и потусоваться.

кроме того, доклад с "как мы используем экстраполяцию в озоне" не принял бы программный комитет

Давно = последних года три там не было сколько-нибудь приличных докладов в заметных количествах

миллионы мух не могут ошибаться :)

Воу-воу-воу! Только что Ты обосрал всех посетителей хайлоада :))) Обоснуй за Воркуту :))))

Потому, что это МЕГА хайповая тема. Если на конференции не будет доклада, как что-то улучшили внедрением ML - это не конференция вообще. И неважно, HL это или что-то другое.

И - да, раньше та же история была про XML+XSLT, когда у Яндекса в каждом докладе было про то, как у них всё на XSLT.

А до этого - на CORBA.

А ещё до этого - на SOAP.