Size: a a a
2019 November 07
Нашли сезонные товары по которым есть большая история (2 года) и с помощью их обучили алгоритм на другие товары
Примеры найденных кластеров. Вот этот волосатый график - про новогодние.
Чем дальше в лес, чем позже вылез или как random forest метод показал вполне приличный результат, другие просто не понадобились.
В общем МАРЕ (...Р - percentage) стало на 10% лучше, а ручного труда меньше. Ёлки в январе больше не заказываем.
Я не знаю почему такая высокая интерференция на фотках, конфа не про физику.
Будут слайды в PDF. Идея предыдущей картинки - разница в МАЕ микроскопическая, но правая модель значитеьно лучше покрывает дорогие товары (которых мало) поэтому она значительно лучше!
Ошибки всё еще будут, их не избежать. Но мы будем знать их масштаб и готовиться к этому.
Формула успеха.
Как оптимизировать цены? Самый важный вопрос для e-commerce.
Используя оптимизацию повысили оборот для проанализированных товаров на 3.5%! Но ...
...неизвестно, не повлиял ли этот рост выбранных товаров на падение оборотов в невыбранных? Мы не знаем пока, но считаем. Когда посчитаем - сообщим :)
Пару слов про Spark. Эти настройки помогли ускорить расчёты нам...
... но не факт, что поможет другому проекту. Проверяйте. Одна из настроек не документирована с 2016.
Важно. Запускайте репартиционирование ваших таблиц после их наполнения. Это сильно увеличит скорость обработки.
Больше настроек богу настроек!
Меньше ресурсов используем! Памяти в 10 раз меньше даже.
Доклад закончен. Всем спасибо!