Анализировать опыт других — не стыдно. Напротив, это важно и необходимо в условиях растущей конкуренции. Улучшить свою деятельность, сравнивая себя с другими, — стратегия, которая работает. В статье расскажем, что такое бенчмарки, как определить ошибку и что она значит.
Бенчмаркинг как стратегия и опыт
Бенчмаркинг (от англ. «bench» — «уровень», «mark» — «отметка») — это способ анализа на основе «эталонных значений» (бенчмарков). Обычно это весь комплекс работ по оценке и сравнительному анализу.
Бенчмарки могут быть двух видов — средние и лучшие значения.
Первый вид: сравниваем себя с подобными
Бенчмарками выступает усредненная деятельность примерно таких же организаций или проектов. Ценность — понимание, где вы находитесь, каковы ваши результаты, по сравнению с другими подобными: много/мало; дорого/дешево; эффективно/нет; хорошо/плохо.
В качестве примера приведем американский сервис ImpactGenome, который проводит бенчмаркинг по затратам на достижение социального результата (cost per outcome).
Рассчитывается он так:
Такая усредненная оценка позволяют сравнить себя с другими, а донорам — выбирать наиболее эффективные программы.
Второй вид: ищем лучший опыт
Бенчмарки — это лучшие из лучших, образцы для подражания, эталон. Это может быть организация, которая является лидером в вашей сфере, вызывает восхищение, а, возможно, зависть. Не важно, в вашей сфере или в другом секторе, в России или в мире.
Соответственно, цель — найти такие бенчмарки под ваши задачи (организации, проекты, кампании, инициативы, практики, услуги, стратегии или процессы). Самого лучшего и прогрессивного в технологиях работы, фандрайзинге, оценке или коммуникациях. Изучить опыт победителя любого открытого конкурса в вашей сфере, взяв его годовой отчет — это и будет пример лучшего российского опыта. Такие бенчмарки — это кто-то успешный и опытный, обладающий гораздо большими ресурсами и готовностью к риску и инновациям, чем вы. Бенчмаркинг позволяет «подсматривать» успешные приемы работы и адаптировать их под свою деятельность; увидеть тренды — какие появляются новые идеи и услуги, а от чего начинают отказываться.
Зачем проводить бенчмаркинг, что он дает?
- Лучшее понимание вашей деятельности, сильных сторон и зон развития путем сравнения с другими
- Лучшее понимание внешнего контекста и «конкурентов»
- Поиск потенциальных партнеров и наставников
- Улучшение коммуникаций с партнерами
- Выявление готовых, работающих решений и прогноз ожидаемых результатов
- Поиск новых вдохновляющих идей и инноваций
- Выявление новых видов и направлений деятельности и услуг
- Способ минимизировать неудачи за счет анализа неудачного опыта бенчмарков
Хотим отметить, что бенчмарками пользуются и профессиональные управляющие, и начинающие инвесторы в связи с простотой, наглядностью и доступностью для анализа и отслеживания.
Бенчмарки и ошибка прогнозирования
Сравнительный анализ с помощью бенчмарков невозможен без примеров. Мы взяли интересные бенчмарки компании E2open — это одни из американских вендоров в сфере облачных технологий для прогнозирования и совместной работы над прогнозами. Компания является поставщиком бизнес-услуг облачного программного обеспечения по требованию для цепей поставок компьютерных, телекоммуникационных и электронных систем, компонентов и услуг.
Как мы уже сказали, бенчмарк — это эталонный показатель, который используется при сравнении величин в финансовой и иной среде. Это база для сопоставления различных индексов и величин, являющаяся основой многих аналитических коэффициентов. Только коэффициенты и оценки у всех разные, и это тоже очень важно.
Что же мы увидели у компании E2open? А увидели мы цифры, которые, честно говоря, начинают обескураживать. У них средняя ошибка получается равной 48%.
Также было проведено ранжирование по топ-компаниям, которые лучше прогнозируют, и компаниям-аутсайдерам. Что же в итоге? Компании, которые лучше прогнозируют, имеют результаты на 7 процентных пункта выше, а те, которые хуже, — на 6 процентных пунктов. То есть у лидеров (у топовых компаний, которые прогнозируют лучше всего), средняя ошибка (MAPE) — на уровне 41%. Такой результат удручает.
Когда мы рассказываем и показываем презентацию кому-то из наших потенциальных клиентов, многие говорят — «точнее, если мы будем монетку подбрасывать, чем такой прогноз». На самом деле, все не совсем так — естественно, важнее все равно прогнозировать.
Если начать углубляться в тематику, оказывается, что ошибка у E2open для новых позиций еще хуже почти в 1,5 раза. То есть действительно — прогнозировать новые позиции фирмам сложнее, о чем мы говорили в статье про выстраивание процесса прогнозирования спроса.
Дальше они пробуют разделить продажи на две группы: бестселлеры и «хвост». Так вот, в этом «хвосте» ошибка прогнозирования составляет целых 73%. Опять же вспоминаем, что MAPE там может быть достаточно крупно значимым, а бестселлеры у них должны прогнозироваться приблизительно в два раза лучше. И как такое ошибки могут вас не разочаровать?
Однако не спешите с выводами. Оказывается, это довольно частое явление.
Рассмотрим некие бенч-упражнения, которые мы, кстати, тоже выполняем:
- понимание структуры спроса;
- проведение некой предварительной очистки от факторов ошибок спроса;
- осуществление декомпозиции
Все эти процессы называются Demand Sensing («определение спроса»), и мы заметили, что данные упражнения дают значимый эффект. Причем этим должны заниматься прогнозисты, а не математики — а именно, работать над выявлением существенных факторов ошибок, а не осуществлять расчеты в Excel. Итак, вот некие результаты.
- Для позиции, которая имеет какой-то исторический спрос, эта ошибка уже становится приемлемой — 28%, что на 36 процентных пункта меньше, чем спрос, который спрогнозирован без использования Demand Sensing.
- Для новинок тоже существенно — ошибка уже 40%, точность 60а% (а не 50% на 50%).
- Для бестселлеров мы узнаем такой целевой показатель для всех прогнозов, по которым можно строить и на которые можно ориентироваться — они достигают ошибки 23%. То есть кто-то достигает ошибки 5%, кто-то — 30%, но плюс-минус выходит 23%.
- «Хвост», о котором мы говорили, то есть те позиции, которые плохо прогнозируются, которые составляют, на самом деле, по правилу Парето 80% вашего ассортимента, — дает ошибку 44%. Как ни старайся, но именно эта ошибка будет довольно велика — это неизбежно.
На самом деле, в нашей практике происходит следующим образом. Внедряя аналитические прогнозные решения, мы видим, что эффект для этой самой сложной группы («хвоста») — является всегда наиболее существенным для компании, так как он максимально разгружает людей, чтобы они смогли сфокусироваться на более значимых позициях спроса.
Хотим сделать такой нетривиальный вывод: прогноз — ничто, прогнозирование — всё.
Важно, чтобы вы понимали, главное — это соотношение ошибок для разного вида спроса и значимый эффект от вкладывания усилий в улучшение качества прогноза. Сам процесс для вас является очень эффективным, так как прогнозируя вы сможете дать объяснение максимально высоким ошибкам и понять их природу. Поэтому прогнозирование — это не какая-то автономная часть мероприятий, это часть экономики компании, которая ведет к улучшению ваших бизнес-результатов.
Почему для нас эта тема актуальна?
Команда Reshape Analytics может помочь Вам разобраться во всех хитросплетениях планирования и добиться максимально качественных данных для прогнозирования с помощью аналитических платформ и готовых решений: Loginom, NOVO BI, Optimacros, Alteryx, AnyLogistix и т. д.
Оставьте заявку на бесплатную консультацию, на которой мы подробно разберем задачи и особенности вашего проекта, ответим на все интересующие вопросы, а также подберем оптимальное решение для ваших задач.
