ML прогнозирование
ML ПРОГНОЗИРОВАНИЕ
Навигация по темам
augmento
Прогнозирование
Предиктивная аналитика
Бизнес консалтинг
Занимаясь автоматизацией и бизнес консалтингом для процессов планирования, мы поняли, что на смену обычным статистическим методам пришло время передовых решений для построения прогноза на базе алгоритмов Машинного обучения (ML).
Именно поэтому мы создали бизнес-блок Augmento, который состоит из специалистов по машинному обучению (data scientists), инженеров данных (data engineers), а также консультантов-методологов.
У нас есть четкая специализация. Мы являемся экспертами в прогнозировании на базе алгоритмов машинного обучения в области планирования спроса и промо активностей, а также помогаем правильно настроить целевой бизнес процесс, в который будет встраиваться ML-прогноз.
Машинное обучение открывает новую эру прогнозирования, и, действительно, позволяет бизнесу перейти к подходу management by exception, когда время и ресурсы компании ориентированы на самые значимые задачи.
Наша специализация
Решение
- Создание моделей прогнозирования спроса и промо активностей (объемы и бюджет) на базе алгоритмов Машинного обучения (ML)
- Техническая поддержка моделей после запуска
- Настройка целевого бизнес-процесса с учетом особенностей технологии
Цель
- Рост точности прогноза (accuracy)
- Сокращение ошибки прогноза (bias)
- Сокращение ресурсоемкости всего процесса прогнозирования
Технологии
- Мультипаарметрические ML-алгоритмы:
– Gradient Boosting– Neural networks– Random Forest– ArimaX– Ensemble
- Прогноз
продаж новинок - Прогноз и оптимизация
промо затрат - Прогноз базовых
продаж (baseline) - ML
прогноз - Прогноз
оптимальной цены - Прогноз вторичных
продаж с полки - Прогноз
промо-продаж
Новая эра прогнозирования
Однофакторные
Статистические модели
Прогноз основан на одном входящем факторе – исторические продажи
Зависимость от экспертизы и доступности времени аналитиков
Мультипараметрические
Алгоритмы Машинного обучения
Используют любые доступные внутренние и внешние вводные данные для поиска наилучших зависимостей и построения оптимального прогноза.
Управление прогнозом по принципу
Manage by exception
Прогноз, основанный на BIG DATA
Отгрузки
Торговые уcловия
Промо акции
Изменения ассортимента
Запасы
Прогноз погоды
Дистрибуция
Данные рынка
Цены
Затраты на рекламу
А ЕЩЕ
Активности конкурентов
Макроэкономические показатели
Праздничные дни
Стадии создания и запуска ML-прогноза
- 1
Анализ
и подготовка данных~ 4-7 недель - 2
Разработка
и настройка модели
и целевого процесса~ 8-15 недель - 3
Интеграция
и запуск модели~ 3-5 недель - 4
Техническая
поддержкаБессрочно
Как дальше работать с готовым ML прогнозом
ML-прогноз
Выгрузка ML-прогноза в Excel
Интеграция ML-прогноза в системы для планирования, как Anaplan, APO и др.
Визуализация готового ML-прогноза в BI системы как Domo, Tableau и др.
THE ML FORECAST
Выгрузка ML-прогноза в Excel
Интеграция ML-прогноза в системы для планирования, такие как Anaplan
Визуализация готового ML-прогноза в BI системы как Domo
ДОСТИЖИМЫЕ РЕЗУЛЬТАТЫ ПОСЛЕ ЗАПУСКА
- ~20%Рост точности прогноза
- 50%Сокращение на 50% времени, которое затрачивают специалисты на прогнозирование продаж
- S&OPУпрощение и ускорение процесса Планирования продаж и операций (S&OP)
Стадии создания и настройка модели
1
Исследование
данных
Data & Process discovery
Стадия анализа доступных данных для построения модели, а также существующего процесса. Согласование целей проекта и KPIs перед запуском.
2
Подготовка вводных
Сausals engineering
Выбор набора вводных данных для создания алгоритмов (causals), а также подготовка их для внедрения в модель.
3
Создания алгоритмов
Algorithms development
Написание скриптов для выбранных мультипараметрических ML-алгоритмов, таких как Gradient boosting, Random Forest и др. Обучение и тестирование модели (train & test) для устойчивой работы, а также для выявления погрешностей (bugs).
4
Соревнование алгоритмов
Algorithms tournament
«Турнир алгоритмов» – выявление самого подходящего алгоритма для каждой продуктовой группы или SKU для того, чтобы в итоге создать «ансамбль» наиболее подходящих алгоритмов в рамках модели.
5
Сегментация прогноза
Product segmentation
Созданный моделью прогноз разбивается на группы продуктов: No touch, Light touch и Heavy touch в зависимости от необходимости внесения ручных корректировок в прогноз.
6
Визуализация результата
Visualization
Сам прогноз и влияющие на него факторы (causals) визуализируется для аналитиков и специалистов по планированию, а также отдельно для конечных пользователей.
Архитектура решения
Архитектура решения
Нажмите на иконку
ДОСТИЖИМЫЙ ROI ОТ ЗАПУСКА ПРОЕКТА
При росте точности прогноза + 10%
Рост производительности
Снижение объема ручных операций:
- Сокращение времени на сбор данных
- Сокращение кол-ва ошибок и времени на их устранение
- Сокращение уровня вовлечения IT
- Сокращение длительности цикла прогнозирования
Рост точности прогноза => более надежный P&L => повышение качества управленческих решений
Повышение точности долгосрочного прогноза => более качественный план реализации мощностей => повышение качества решений по CapEx
Рост удовлетворенности клиентов: улучшение контрактных условий, меньше штрафов, более сильная переговорная позиция
Сокращение издержек
Сокращение уровня дефицита запасов:
- Повышение уровня сервиса + 3%’
- Повышение выручки +1%’ (консервативная оценка для высокоэффективных компаний)
Сокращение уровня излишков продукции
- Оптимизация уровня запасов – 25%’
- Снижение уровня списаний- 17%’
Эффективное производство
- Рост OEE (до 11% за счет более предсказуемого производственного графика’)
- Более эффективная организация труда производственного персонала
‘На основе собственной оценки Advanced
ИСТОРИИ УСПЕХА
Часто задаваемые вопросы
1
Чем ML-прогноз продаж лучше статистического?
Статистический прогноз строится только на базе исторических данных продаж, тогда как ML-прогноз дополнительно использует другие важнейшие факторы, влияющие на спрос: затраты на промо, запасы продукции, погода и др. Современные подходы ML, в частности нейросети, могут выявлять нелинейные закономерности продаж с различными факторами, которые невозможно выявить с помощью традиционных моделей и экспертным путем. Также использование ML-прогноза является эффективным решением для бизнес-команд из-за сокращения времени на составление и анализ экспертного прогноза.
2
Как вы доказываете, что ML-прогноз лучше существующего?
На так называемой стадии Test (проверка качества работы модели), которая следует за стадией Train (разработка и обучение модели), мы строим ML-прогноз «в прошлом» и сравниваем его с историческими продажами за выбранный период, а также значениями статистического и/или экспертного прогноза, созданного и зафиксированного в прошлом. Далее после запуска модели точность прогноза определяется сравнением актуальных значений продаж со значением ML-прогноза, сделанного несколько недель назад (обычно, 4-6 недель).
3
Какие ключевые требования к данным, чтобы настроить модель и затем успешно ее использовать?
Минимум 2 календарных года исторических данных, наличие нескольких источников данных, которые влияют на продажи (помимо исторических продаж, что является прогнозируемой единицей, необходимы дополнительные данные как, например, промо-активности, уровень остатков, уровень цен). Также важно, чтобы ключевые входящие данные имели прогноз на будущее (например, промо план на будущие периоды), что позволит модели создавать более точный прогноз.
4
Что входит в понятие «прогнозирование спроса»?
Мы являемся экспертами в прогнозировании спроса на базе алгоритмов машинного обучения:
-Прогноз первичных продаж (отгрузок)
-Прогноза базовых продаж (бейзлайн)
-Прогноз промо продаж
-Прогноз вторичных продаж с полки (secondary sales)
-Прогноз и оптимизация промо инвестиций
-Прогноз продаж новинок
-Прогноз оптимальной цены на полке
-Прогноз первичных продаж (отгрузок)
-Прогноза базовых продаж (бейзлайн)
-Прогноз промо продаж
-Прогноз вторичных продаж с полки (secondary sales)
-Прогноз и оптимизация промо инвестиций
-Прогноз продаж новинок
-Прогноз оптимальной цены на полке
5
Какой будет горизонт прогноза в ML модели?
Горизонт прогноза зависит от требований заказчика, а качество прогноза в рамках требуемого горизонта прогнозирования зависит от качества входящих данных и доступности по них прогноза на будущее, к примеру, промо плана на будущее. Если промо план доступен на период 3 месяца вперед, то модель построит наиболее надежный прогноз продаж именно на три месяца вперед.
6
Можно ли сделать модель только на основе одного источника данных, помимо исторических продаж?
Потенциально можно, но в таком случае мы не раскроем преимуществ мультипараметрических алгоритмов ML. Чтобы качественно настроить модель, необходимо иметь исторические данные продаж, которые мы затем будем прогнозировать, и как минимум данные по одному ключевому фактору, например, данные по промо акциям (периоды проведения, затраты на промо).
7
Какие команды в бизнесе будут главными бенефициарами решения?
Это зависит от организационной структуры бизнеса, но в целом команды можно разделить по функциям в зависимости от типа прогноза:
-Команды, отвечающие за планирование спроса и продаж: отдел Планирования спроса (Demand planning), отдел Планирования продаж в Коммерческой департаменте
-Команды, отвечающие за прогнозирование промо-продаж и промо-инвестиций, включая их оптимизацию: отдел Торгового и клиентского маркетинга, отдел Финансов для команды продаж (Sales Finance)
Команды, отвечающие за ценообразование: команда Финансов, отдел Бизнес-аналитики, отдел Торгового и клиентского маркетинга
-Команды, отвечающие за планирование спроса и продаж: отдел Планирования спроса (Demand planning), отдел Планирования продаж в Коммерческой департаменте
-Команды, отвечающие за прогнозирование промо-продаж и промо-инвестиций, включая их оптимизацию: отдел Торгового и клиентского маркетинга, отдел Финансов для команды продаж (Sales Finance)
Команды, отвечающие за ценообразование: команда Финансов, отдел Бизнес-аналитики, отдел Торгового и клиентского маркетинга
8
Какую IT платформу вы используете для создания и поддержки ML модели?
ML модель не привязана к определенной платформе и предоставляет собой программный код, который генерирует файл с прогнозом продаж в удобном для конечных пользователей формате (Excel, CSV и др.). На стадии разработки и запуска модели код исполняется на мощностях Augmento. В дальнейшем возможно встроить модель (=код) в существующую локальную инфраструктуру клиента или использовать подходящие облачные платформы для машинного обучения.
9
Нужно ли дополнительно запускать какую-либо IT платформу для управления новым ML прогнозом?
Внедрение модели ML прогнозирования не влечет за собой обязательный запуск дополнительной IT платформы для управления прогнозом. Оптимально, когда в бизнесе уже есть платформа интегрированного планирования как, например, Anaplan, но это не является определяющим фактором успеха проекта. Готовый ML прогноз мы можем выгружать для команды планирования в простой Excel, в существующую IT-систему для планирования или напрямую в существующую BI платформу для визуализации.
10
Что вы вкладываете в понятие Manage by exception?
Данные созданного моделью прогноза группируются в несколько сегментов по согласованным с заказчиком критериям:
–No touch – это значения прогноза, которые не требуют дополнительной проверки специалистами по прогнозированию и напрямую передаются в отдел производства/поставок/продаж в зависимости от типа прогноза
–Light touch – значения, точность прогноза которых следует перепроверить эксперту по прогнозированию
–Heavy touch – значения прогноза, которые необходимо спрогнозировать вручную. Например, в случае с прогнозом уникальных новинок или специальных промо-продуктов, которые не имеют истории продаж.
–No touch – это значения прогноза, которые не требуют дополнительной проверки специалистами по прогнозированию и напрямую передаются в отдел производства/поставок/продаж в зависимости от типа прогноза
–Light touch – значения, точность прогноза которых следует перепроверить эксперту по прогнозированию
–Heavy touch – значения прогноза, которые необходимо спрогнозировать вручную. Например, в случае с прогнозом уникальных новинок или специальных промо-продуктов, которые не имеют истории продаж.
11
Есть ли у ML модели ограничения?
Обязательным условием стабильной работы модели является качество данных, их полнота, наличие исторических данных (минимум 2 года) и прогноза на будущее по входящим переменным. После запуска модели в первые 2-3 месяца растет нагрузка на команду планеров, так как они работают в двумя версиями прогноза – статистическим и ML прогнозами, чтобы в итоге полностью перейти на работу с ML прогнозом.
12
В чем основное отличие вашего подхода и ML-модели от аналогов, создаваемых крупными консалтинговыми компаниями, такими как Accenture, SAS и другие?
Первое, мы создаем открытую модель, а не «черный ящик». Это значит, конечные пользователи получают не просто готовый ML-прогноз, но также видят факторы, которые повлияли на него вплоть до конкретной позиции, и могут оценить значимость каждого фактора. Также после запуска модели, если Заказчик готов развивать внутреннюю команду data science, бизнес может самостоятельно развивать и поддерживать модель прогнозирования, не прибегая к услугам консультантов. Во-вторых, наша команда экспертов по машинному обучению имеет прикладной опыт работы в отделе планирования крупнейших транснациональных компаний. Третье – сравнительно низкая стоимость разработки и поддержки.
13
Какое вовлечение требуется от бизнеса?
Основное участие представителей заказчика требуется на стадии формирования цели, анализа доступных данных, настройки доступов к базам данных, а также на стадии запуска и интеграции в целевой бизнес-процесс, который потребует дополнительной настройки.