А что если вы не правы? Или зачем менеджерам продукта нужна статистика

Зачем менеджерам продукта нужна статистика? Когда-то таким вопросом задавалась и я, Блаженова Анастасия, менеджер продукта и аналитик Acronis, а теперь менеджер продукта ManyChat.

В этой статье я хочу рассказать вам о том, как статистика помогает в разработке продуктов и принятии бизнес-решений. Также вы узнаете, как посчитать, с какой вероятностью вы заработаете или потеряете деньги.

Обычно люди считают, что статистика – это такая абстрактная штука для математиков, сложная и непонятная. Я сама закончила физтех, где много статистики, но я ничего не знала о том, как она может мне помочь, поэтому в работе обходилась без неё. И так продолжалось какое-то время, пока я не столкнулась с ситуацией, где моих знаний не хватило.

Это произошло, когда мы запустили одну промо-акцию, которая стоила нам безумных денег. И нам было очень важно понять – эта промо-акция прямо сейчас приносит деньги или нет?  Продажи росли как до, так и после её начала, и какого-то взрывного роста не наблюдалось. Именно тогда за помощью я и обратилась к статистике.

Как может помочь статистика?

Чем больше я читала про статистику, тем лучше понимала, что она может помочь с целым рядом вопросов, которые встречаются в продукте. Среди них можно выделить несколько основных:

  • Анализ лендинга
  • Анализ релиза
  • Прогноз продаж
  • Выяснение причины внезапного падения или роста NPS
  • Анализ методик продаж
  • Оценка рисков

Всегда думайте о погрешности

Если бы из всей статьи вы могли запомнить только одну вещь – то это должно было быть следующее: При анализе графиков всегда думайте о погрешности.

Почему? Допустим, у вас есть новая фича, и вы хотите понять, сколько людей про неё вообще знает. Вы получили ответ — 33%. Но истинное значение осведомленности ваших пользователей зависит от количества людей, принявших участие в опросе. Например, от 32 до 34% или от 8 до 58%. А это большой разброс.

И даже если вы не принимаете никакое решение прямо сейчас, вы всё равно должны знать, какой этот разброс на самом деле.

Именно поэтому я советую работать только с графиками с погрешностью.

 

Сравнение двух групп

Иногда перед менеджером стоит задача сравнения каких-то двух состояний: например, при сравнении старого и нового онбординга.

Допустим, в старом онбординге у вас конверсия в активных пользователей составляла 25%, а в новом – 30%. Раньше вы бы просто обрадовались этому результату и занялись другими задачами. Но теперь вы знаете, что таким графикам доверять нельзя. Тогда вы рисуете погрешность для каждого из столбцов и понимаете, что теперь на глаз уже не ясно, какой из них действительно выше.

Хорошая новость в том, что вам не нужно определять это на глаз, потому что существуют статистические тесты такие как T-test и ANOVA.

 

 

Эти тесты показывают вероятность того, что ваш правый столбец действительно выше вашего левого столбца, то есть вероятность того, что ваш новый онбординг лучше, чем ваш старый онбординг.

В качестве примера можно привести случай из жизни. Когда я работала в Acronis, в одном из продуктов была функция, которой, по какой-то причине, не пользовались. Тогда у нас было предположение, что эта современная функция в сочетании с нашими старомодными пользователями даёт низкие результаты. В таком случае решением этой проблемы была бы замена упаковки, обучение пользователей или привлечение более современных клиентов.

Однако, посмотрев на данные со статистикой, выяснилось, что ни новым, ни старым клиентам функция не нравится, и проблема кроется в чём-то другом.

Статистика не всегда может сказать вам, в чём проблема вашего продукта, но она может уберечь вас от того, что вы потратите деньги и время и пойдёте по ложному следу.

Линейная регрессия

Бывает, что в процессе работы необходимо понять, сколько денег или пользователей у вас будет через полгода. Например, чтобы закупить оборудование, посчитать зарплаты, нанять людей и так далее.

И когда вы видите постоянно растущий график продаж, то первое, что хочется сделать – это просто провести прямую и посмотреть, куда она приведёт через 6 месяцев.

Однако её можно провести огромным количеством разных способов и, соответственно, получить разные результаты.

Для решения этой задачи и существует тест, который называется «Линейная регрессия». На выходе теста вы получается уравнение для подсчёта ваших продаж через полгода и можете узнать, сколько денег или пользователей у вас будет.

Этот тест может помочь справиться и с более сложными ситуациями, когда график продаж не линеен. Вы видите, что зимой покупают больше, чем летом, вы видите, что продажи в целом растут, но сколько денег будет на глаз не понять, только с помощью теста.

В качестве примера из реальной жизни можно рассмотреть промо-акцию, про которую было сказано выше.

Что было сделано? Продажи разбиты на 2 периода – до и после начала промо-акции. И для каждого периода было построено уравнение с помощью линейной регрессии.

В результате, стало понятно, что увеличение продаж было бы и без акции, и поэтому её можно смело закрывать.

Статистика в финансовых моделях

Как оказалось, многие менеджеры продукта не до конца понимают, в чём суть финансовой модели и зачем её вообще нужно использовать. Чтобы разобраться в этом, рассмотрим финмодели подробнее.

Прежде всего, необходимо развеять главное заблуждение – мы не пытаемся угадать какую-ту цифру в отчётности через год, мы пытаемся только критично и трезво посмотреть на предположение вашего продукта и оценить риски. Для такой оценки необходимо понимание продукта и грамотное построение финансовой модели.

В процессе построения финмодели вы должны пройти несколько этапов:

  • Убедиться в том, что вы включили все необходимые предположения.

Как раз в этот момент вы себя спрашиваете – важно ли предположение и стоит ли его включать?

  • Убедиться в том, что знаете всё о своём продукте.

На этом этапе для себя отвечаете на несколько вопросов, таких как:

Почему вы написали, что будет такое количество пользователей, почему не больше и не меньше, откуда эти пользователи будут браться каждый новый месяц?

Какие вообще бывают виды пользователей, как они друг с другом взаимодействуют, и что вы вообще про это всё знаете?

  • Переходите к деньгам, которые заработаете.

В финмодели главное не то, сколько вы заработаете, а то, от чего зависит, сколько вы заработаете. Прибыль может зависеть сразу от целого ряда факторов, но каждый из них влияет на продажи как-то по-своему.

Поэтому в данный момент вы пытаетесь выяснить, какие факторы больше всего влияют на вашу прибыль. То есть пытаетесь найти те показатели, которые при изменении на, скажем, 1%, очень сильно поднимут или уронят вашу прибыль. Часто они бывают неочевидными.

Вообще, когда вы делаете финмодели, я всегда рекомендую делать хотя бы три сценария развития событий:

  • Плохой сценарий, когда будет мало пользователей, мало денег и большие траты.
  • Офигенный сценарий, когда будет много пользователей, много денег и мало трат.
  • Нормальный сценарий, когда все эти показатели находятся посередине.

 

 

И в каждом варианте вы считаете, сколько денег заработаете. И исходя из результата, решаете, стоит ли ваш проект внимания, нужно ли над ним ещё подумать или вообще не надо его делать.

В чём проблема этого подхода?

Если вы знаете, что вы можете заработать 100 тысяч долларов и потерять 50 тысяч долларов, то это, вроде, и неплохо. Но, если вам скажут, что вы с вероятностью 1% заработаете деньги и с вероятностью 99% – потеряете, то, скорее всего, ваше решение будет совсем другим. И проблема как раз в том, что вы этих вероятностей не знаете.

Метод Монте-Карло

Поэтому далее речь пойдёт о малоизвестном методе Монте-Карло, с помощью которого можно оценить, с какой вероятность вы потеряете или заработаете деньги.

Как он работает?

Каждое сделанное предположение, например, про пользователей или конверсию – это всегда какой-то диапазон значений.

Поэтому на данном этапе вы в специальном софте Oracle Crystal Ball заменяете все точечные предположения на диапазоны. После чего софт автоматически прогоняет вашу финансовую модель, например, 10 тысяч раз. И при каждом запуске вашей модели софт случайным образом меняет ваши показатели, строит 10 тысяч вариантов развития событий. И для каждого варианта считает, сколько денег вы заработаете.

И на основе этого уже можно посчитать вероятность, что вы заработаете больше нуля. То есть разделить количество вариантов с прибылью на число циклов программы.

Также приведу пример из реальной жизни. Когда мы в Acronis запускали продукт со стратегическим прайсингом, то мы прикинули, что в минус мы не уйдём, но всё равно такая вероятность оставалась. Тогда я применила метод Монте-Карло и выяснила, что эта вероятность составляет 30%.

Однако это не значит, что мы перестали делать продукт. Мы только немного подкрутили прайсинг по цифрам, чтобы снизить эту вероятность.

Но самое классное, что произошло – был обнаружен неочевидный параметр, который реально сильно влиял на риск потери денег. И стало понятно, что за этим показателем нужно следить и регулировать его.

Меры предосторожности

В конце оставлю несколько предостережений.

Первым можно отметить, что иногда лучше не иметь никакого ответа, чем иметь неправильный и верить в него, действовать в соответствии с ним.

Что это значит? Дело в том, что статистические тесты – это инструменты. Если вы берёте статистический тест и используете его на тех данных, на которых его использовать нельзя, то вы получаете неправильный ответ. Вы в него верите, теряете бдительность и осторожность и совершаете ошибку. И даже если вы применяете правильные данные, но не знаете, как правильно трактовать результаты теста, то вы думаете про неправильный ответ и снова совершаете ту же самую ошибку.

Ну и самое главное, что статистика – это всё-таки не единственный источник информации.

Важно не забывать о том, что кроме статистики есть ваша голова, ваше знание рынка, ваше понимание продукта.

Статистика – это не волшебная палочка, а способ постараться улучшить метод принятия решения, принимать больше факторов во внимание и быть чуть более хорошим менеджером продукта.

Выводы:

  • Никогда не доверяйте графикам без погрешностей
  • Для сравнений групп показателей используйте такие статистические тесты как T-test и ANOVA
  • Для прогноза продаж используйте метод линейной регрессии
  • При построении финмоделей всегда делайте три сценария развития событий
  • Рассчитывайте вероятности рисков методом Монте-Карло
  • Иногда лучше не иметь никакого ответа, чем иметь неправильный
  • Статистика – не единственный источник информации

P.S. Каждую неделю Анастасия делится классными материалами по продакт менеджменту вот здесь.