Как оценить качество прогнозирования

Прогнозирование показателей экономической деятельности — неотъемлемая составляющая экономического процесса. Существует множество методов прогнозирования, таких как экспертные оценки, экстраполирование, модели временных рядов, экономические системы и т. д. В этой связи возникает вопрос об оценке качества прогнозов, в том числе полученных различными способами. Также актуальным является вопрос: каким образом оценить качество прогноза до его разработки, не имея сравнительных результатов? В статье поговорим о традиционных методах оценки качества прогнозирования и важности правильного выбора.

Традиционные методы оценки качества прогнозирования

Вначале расскажем про традиционные методы оценки качества прогнозирования, которыми пользуются многие менеджеры и аналитики.

Самая популярная и общедоступная «троица» показателей представлена ниже:

• средняя абсолютная процентная ошибка (MAPE):

• средняя абсолютная ошибка (MAE):

• средняя квадратичная ошибка (RMSE):

Как правило, все останавливаются на MAPE (это средняя абсолютная процентная ошибка), потому что эта формула наиболее наглядна и понятна. В связи с простотой в понимании и удобством ее любит менеджмент, но в ней есть и нюансы, когда, например, фактические продажи меньше планируемых. Теоретически любого менеджера можно загнать в тупик, задав вопрос — какая, например, будет ошибка, если продать ноль единиц товара вместо планируемых десяти единиц?

Ошибки прогнозирования в разных условиях

Разные ошибки прогнозирования для бизнеса не являются равнозначными

Перепрогноз может приводить к:

• замораживанию средств и потере альтернативного дохода;
• излишку запасов и, как следствие, списанию и распродажам;
• низкой оборачиваемости и кассовому разрыву.

Недопрогноз ведет к:

• упущенным продажам и марже;
• низкому уровню сервиса и, соответственно, штрафам и вероятности потерять клиентов;
• непониманию реального спроса.

Разный знак ошибки — совершенно разное влияние на бизнес. Как эти знаки отражаются в ошибках? Если смотреть на среднюю абсолютную процентную ошибку (MAPE), то в перепрогнозировании ошибка скачет от 0% до бесконечности, а при недопрогнозе — от 0% до 100%. То есть мы получаем некое ассиметричное представление о том, что происходит с нашим бизнесом. При этом влияние на среднюю ошибку является равнозначным, то есть мы никак не учитываем ухудшение самого факта перепрогноза или недопрогноза.

Коварный ноль

Ноль может быть как в прогнозе, так и в продаже. Что с ним делать?

В средней абсолютной процентной ошибке (MAPE) деление на ноль не удается. Мы вынуждены выбрасывать эту ошибку или ставить 100% ошибку, что обычно и делается.

Что касается прогноза в ноль — ошибка также всегда равна там единице. Можно ли составить полное представление о бизнесе по этой ошибке? Скорее всего, нет.

То же самое со средней ошибкой — она не отражает знак ошибки, никак не реагирует на нулевые крайние случаи.

Традиционные методы оценки не всегда эффективны

Рассмотрим причины, по которым традиционные методы оценки качества прогнозирования не всегда являются эффективными. Вышеуказанные методы обладают следующими качествами:

• робастностью — насколько ошибка устойчива при небольшом изменении — насколько она подскакивает/падает и насколько, в целом, отражает состояние бизнеса;
• обобщенностью — насколько сильно происходит усреднение ошибки — сможем ли мы составить по средней абсолютной ошибке представление о том, что происходит попозиционно (скорее всего, нет);
• симметричностью — насколько наша ошибка для разных знаков является значимой.

Как мы видим, все три вида ошибок имеют свои плюсы и минусы, но каждый раз вы склонны идти на некий компромисс, выбирая какое-то оптимальное решение.

Альтернативные методы оценки

На самом деле, этими тремя способами оценки не ограничиваются — есть и другие варианты. Мы выбрали два наиболее популярных:

• симметричная оценка качества (SMAPE):

Она, в какой-то мере, нивелирует асимметрию, которая есть в MAPE. Но есть и существенный минус — она содержит знаменательный прогноз, поэтому, угадывая нулевые продажи при прогнозировании, можно манипулировать качеством прогноза. И, в целом, SMAPE ведет к некоторому завышению прогноза, который можно смоделировать и понять;

• взвешенная абсолютная процентная ошибка прогнозирования (WAPE):

Это другая альтернатива, которая, как нам кажется, является оптимальной для оценок и неким идеальным компромиссом между сложностью интерпретации и результатом. Ее плюс заключается в том, что вы получаете больше вес по позициям — чем больше позиция продается, тем ее значимость является выше.

Стоит отметить, что не всегда бо’льшие продажи — это лучше для бизнеса, так как существует ряд позиций, которые обладают низкой маржинальностью, и, возможно, стоит взвешивать не только по количеству продаж, но и по другим показателям.

Кроме рассмотренных, есть довольно большое количество более сложных формул. Мы все время экспериментируем, находим новые варианты, но их объединяет следующее — они очень сложны для интерпретации, то есть невозможно, посчитав формулу, вывести одно сводное число, которое даст определенность и возможность принять решение. И в этом состоит основной вызов в#nbsp;прогнозировании и оценке его качества.

Почему для нас эта тема актуальна?

Команда Reshape Analytics обладает широким спектром компетенций:

• Мы проводим стратегический data-driven аудит эффективности текущей системы управления цепочкой поставок и выработка рекомендаций по ее улучшению.
• Производим анализ качества управления запасами и прогнозирование целевой эффективности внедрения аналитических решений.
• Помогаем разработать и согласовать техническое задание на внедрение систем прогнозирования и планирования.
• Разрабатываем технологические решения для упрощения интеграции с системами прогнозирования и планирования.
• Внедряем системы прогнозирования и планирования цепей поставок.

Мы можем помочь Вам разобраться во всех этих хитросплетениях и добиться максимально качественных данных для прогнозирования с помощью аналитических платформ и решений: Loginom, NOVO BI, Optimacros, Alteryx, AnyLogistix и другие.

Оставьте заявку на бесплатную консультацию, и наши специалисты помогут Вам подобрать оптимальное решение для ваших задач.