Блог Reshape Analytics

Бенчмарки и прогноз

Бенчмарки и прогноз. Что такое бенчмарки, как определить ошибку и что она значит.

Анализировать опыт других — не стыдно. Напротив, это важно и необходимо в условиях растущей конкуренции. Улучшить свою деятельность, сравнивая себя с другими, — стратегия, которая работает. В статье расскажем, что такое бенчмарки, как определить ошибку и что она значит.

Бенчмаркинг как стратегия и опыт


Бенчмаркинг (от англ. «bench» — «уровень», «mark» — «отметка») — это способ анализа на основе «эталонных значений» (бенчмарков). Обычно это весь комплекс работ по оценке и сравнительному анализу.

Бенчмарки могут быть двух видов — средние и лучшие значения.


Первый вид: сравниваем себя с подобными


Бенчмарками выступает усредненная деятельность примерно таких же организаций или проектов. Ценность — понимание, где вы находитесь, каковы ваши результаты, по сравнению с другими подобными: много/мало; дорого/дешево; эффективно/нет; хорошо/плохо.


В качестве примера приведем американский сервис ImpactGenome, который проводит бенчмаркинг по затратам на достижение социального результата (cost per outcome).

Рассчитывается он так:


Обобщенная формула усредненной оценки бенчмаркинга

Такая усредненная оценка позволяют сравнить себя с другими, а донорам — выбирать наиболее эффективные программы.


Второй вид: ищем лучший опыт


Бенчмарки — это лучшие из лучших, образцы для подражания, эталон. Это может быть организация, которая является лидером в вашей сфере, вызывает восхищение, а, возможно, зависть. Не важно, в вашей сфере или в другом секторе, в России или в мире.


Соответственно, цель — найти такие бенчмарки под ваши задачи (организации, проекты, кампании, инициативы, практики, услуги, стратегии или процессы). Самого лучшего и прогрессивного в технологиях работы, фандрайзинге, оценке или коммуникациях. Изучить опыт победителя любого открытого конкурса в вашей сфере, взяв его годовой отчет — это и будет пример лучшего российского опыта. Такие бенчмарки — это кто-то успешный и опытный, обладающий гораздо большими ресурсами и готовностью к риску и инновациям, чем вы. Бенчмаркинг позволяет «подсматривать» успешные приемы работы и адаптировать их под свою деятельность; увидеть тренды — какие появляются новые идеи и услуги, а от чего начинают отказываться.


Зачем проводить бенчмаркинг, что он дает?


  • Лучшее понимание вашей деятельности, сильных сторон и зон развития путем сравнения с другими
  • Лучшее понимание внешнего контекста и «конкурентов»
  • Поиск потенциальных партнеров и наставников
  • Улучшение коммуникаций с партнерами
  • Выявление готовых, работающих решений и прогноз ожидаемых результатов
  • Поиск новых вдохновляющих идей и инноваций
  • Выявление новых видов и направлений деятельности и услуг
  • Способ минимизировать неудачи за счет анализа неудачного опыта бенчмарков

Хотим отметить, что бенчмарками пользуются и профессиональные управляющие, и начинающие инвесторы в связи с простотой, наглядностью и доступностью для анализа и отслеживания.

Бенчмарки и ошибка прогнозирования


Сравнительный анализ с помощью бенчмарков невозможен без примеров. Мы взяли интересные бенчмарки компании E2open — это одни из американских вендоров в сфере облачных технологий для прогнозирования и совместной работы над прогнозами. Компания является поставщиком бизнес-услуг облачного программного обеспечения по требованию для цепей поставок компьютерных, телекоммуникационных и электронных систем, компонентов и услуг.


Как мы уже сказали, бенчмарк — это эталонный показатель, который используется при сравнении величин в финансовой и иной среде. Это база для сопоставления различных индексов и величин, являющаяся основой многих аналитических коэффициентов. Только коэффициенты и оценки у всех разные, и это тоже очень важно.


Что же мы увидели у компании E2open? А увидели мы цифры, которые, честно говоря, начинают обескураживать. У них средняя ошибка получается равной 48%.


Бенчмарки и прогноз, ошибка прогнозирования


Также было проведено ранжирование по топ-компаниям, которые лучше прогнозируют, и компаниям-аутсайдерам. Что же в итоге? Компании, которые лучше прогнозируют, имеют результаты на 7 процентных пункта выше, а те, которые хуже, — на 6 процентных пунктов. То есть у лидеров (у топовых компаний, которые прогнозируют лучше всего), средняя ошибка (MAPE) — на уровне 41%. Такой результат удручает.


Когда мы рассказываем и показываем презентацию кому-то из наших потенциальных клиентов, многие говорят — «точнее, если мы будем монетку подбрасывать, чем такой прогноз». На самом деле, все не совсем так — естественно, важнее все равно прогнозировать.

Если начать углубляться в тематику, оказывается, что ошибка у E2open для новых позиций еще хуже почти в 1,5 раза. То есть действительно — прогнозировать новые позиции фирмам сложнее, о чем мы говорили в статье про выстраивание процесса прогнозирования спроса.


Дальше они пробуют разделить продажи на две группы: бестселлеры и «хвост». Так вот, в этом «хвосте» ошибка прогнозирования составляет целых 73%. Опять же вспоминаем, что MAPE там может быть достаточно крупно значимым, а бестселлеры у них должны прогнозироваться приблизительно в два раза лучше. И как такое ошибки могут вас не разочаровать?


Однако не спешите с выводами. Оказывается, это довольно частое явление.

Рассмотрим некие бенч-упражнения, которые мы, кстати, тоже выполняем:

  • понимание структуры спроса;
  • проведение некой предварительной очистки от факторов ошибок спроса;
  • осуществление декомпозиции

Все эти процессы называются Demand Sensing («определение спроса»), и мы заметили, что данные упражнения дают значимый эффект. Причем этим должны заниматься прогнозисты, а не математики — а именно, работать над выявлением существенных факторов ошибок, а не осуществлять расчеты в Excel. Итак, вот некие результаты.

  • Для позиции, которая имеет какой-то исторический спрос, эта ошибка уже становится приемлемой — 28%, что на 36 процентных пункта меньше, чем спрос, который спрогнозирован без использования Demand Sensing.
  • Для новинок тоже существенно — ошибка уже 40%, точность 60а% (а не 50% на 50%).
  • Для бестселлеров мы узнаем такой целевой показатель для всех прогнозов, по которым можно строить и на которые можно ориентироваться — они достигают ошибки 23%. То есть кто-то достигает ошибки 5%, кто-то — 30%, но плюс-минус выходит 23%.
  • «Хвост», о котором мы говорили, то есть те позиции, которые плохо прогнозируются, которые составляют, на самом деле, по правилу Парето 80% вашего ассортимента, — дает ошибку 44%. Как ни старайся, но именно эта ошибка будет довольно велика — это неизбежно.

Бенчмарки и прогноз, ошибка прогнозирования


На самом деле, в нашей практике происходит следующим образом. Внедряя аналитические прогнозные решения, мы видим, что эффект для этой самой сложной группы («хвоста») — является всегда наиболее существенным для компании, так как он максимально разгружает людей, чтобы они смогли сфокусироваться на более значимых позициях спроса.


Хотим сделать такой нетривиальный вывод: прогноз — ничто, прогнозирование — всё.

Важно, чтобы вы понимали, главное — это соотношение ошибок для разного вида спроса и значимый эффект от вкладывания усилий в улучшение качества прогноза. Сам процесс для вас является очень эффективным, так как прогнозируя вы сможете дать объяснение максимально высоким ошибкам и понять их природу. Поэтому прогнозирование — это не какая-то автономная часть мероприятий, это часть экономики компании, которая ведет к улучшению ваших бизнес-результатов.


Почему для нас эта тема актуальна?


Команда Reshape Analytics может помочь Вам разобраться во всех хитросплетениях планирования и добиться максимально качественных данных для прогнозирования с помощью аналитических платформ и готовых решений: Loginom, NOVO BI, Optimacros, Alteryx, AnyLogistix и т. д.


Оставьте заявку на бесплатную консультацию, на которой мы подробно разберем задачи и особенности вашего проекта, ответим на все интересующие вопросы, а также подберем оптимальное решение для ваших задач.