Продуктовый аналитик: Путешествие туда и обратно

Глава 1. Прыжок веры из уюта в туман

1.2. Инициация Героя

Вы - талантливый энтузиаст в своем уютном мире. Мир за окном кричит о необходимости быть data-driven. Но вам страшно отправиться в путь, вам кажется, что BigData только для гениев математики.
- Opinion‑Driven vs Data‑Driven
- Предвзятость и когнитивные искажения (Confirmation Bias, Survivorship Bias).
- Что мешает внедрению Data‑Driven культуры
- Ваш выбор между стать удобным экспертом по ответам на запросы, или незаменимым экспертом по задаванию правильных вопросов.

Условно, до 2000-х решения о развитии продуктов принимались на основе мнения «самого старшего пацана» (HiPPO или Highest Paid Person’s Opinion, ведь именно за это они и получали свою самую высокую зарплату в компании) и анализа на фокус-группах (10-15 человек, часто нерепрезентативных). Когда все определяет только мнение главного эксперта цена ошибки огромная.

Данные объективны, а человеческий мозг - нет. Когнитивные искажения влияют на каждый этап того, как мы думаем.
-Confirmation bias (или «мишень будет там, куда я попал»). Часто бывает так, что мы ищем (и, конечно, находим) только те данные, которые подтверждают нашу гипотезу, но игнорируем факты, которые противоречат нашему заранее сложившемуся мнению.
-Survivorship bias (ошибка выжившего). Делаем выводы на основе только успешных случаев, например, изучая успешные стартапы в поисках секрета их успеха. Но пропускаем, что у них были те же стратегии, что и у тысяч провалившихся.

С появлением Google Analytics (2005) и роста веб-приложений появилась первая возможность измерять поведение пользователей на основании данных, а не только полагаться на мнение эксперта. Это была настоящая революция в аналитике web страниц. Затем последовал взрывной рост мобильных приложений в App Store (2008) и Google Play (2009), и социальных сетей. Все это производило огромное количество данных о поведении аудитории. И технологии Data Warehouse, Cloud-платформ и Hadoop/HDFS сделали хранение эксабайтов данных доступных для анализа.

Так и родилась профессия продуктового аналитика на стыке трех революций: технологической (Big Data, облака), продуктовой (переход к agile- и экспериментальным моделям разработки) и управленческой (рационализация решений в ответ на рост сложности и скорости цифровых рынков). Это значило не просто добавить в компанию «аналитика для продукта», появилась новая ключевая роль в системе управления, призванная заменить интуицию и иерархию на проверяемые гипотезы и доказательства.

Принятие решений о развитии продуктов на основе анализа больших данных резко стало необходимостью и главным конкурентным преимуществом не только в BigTech.
1. Объективность, вместо мнения HiPPO. Когда решение о смене дизайна принимается не потому, что “директору так нравится”, а потому что A/B тест, который провел аналитик, показал увеличение конверсии.
2. Эффективное распределение ресурсов. Когда маркетинг вместо равномерного распределения бюджета использует прогноз окупаемости (ROAS) каждого канала.
3. Знаем аудиторию лучше, чем они сами знают себя. Когда вместо масс-маркета есть персонализация, сегментация, анализ паттернов поведения, выявление скрытых проблем («Почему пользователи уходят со страницы оплаты на 3-м шаге?»)
4. Быстрая адаптация к изменениям. Когда есть мониторинг ключевых метрик в режиме реального времени, быстрое тестирование гипотез, автоматическое регулирование.
5. Прогнозирование. Когда стал возможен переход от реактивного к проактивному управлению, прогнозным моделям удержания, оттока, конверсии в целевое действие, LTV, детектированию аномалий.

Однако, технологии пришли раньше культуры - системы ценностей, принципов и практик data-driven. Спрос на специалистов по работе с данными взлетел до небес. Карьерные переходы стали головокружительными. Это прекрасный шанс для молодых, умных, дерзких и голодных! Начался «век самозванных профессий», когда звание часто опережало реальную экспертизу. Компании нанимали «аналитиков», но получали «операторов SQL», «дизайнеров дашбордов», «говорящую голову над данными».

Внедрение data-driven требовало выработку «новых правил игры» для системы принятия решений - интеграции новых ролей и подразделений, настройки прозрачных процессов, четкой системы взаимодействия, понятных полномочий и ответственности за результат. Но для большинства компаний это было сложно.

Часто компании относились к data driven как «карго-культу», и не всегда понимали, как выстроить это на практике. Одним из главных барьеров даже сейчас остается сопротивление изменениям в структуре власти. Data-driven культура по своей сути демократична: лучшая идея может быть подкреплена данными от junior-аналитика. Это угрожает традиционной иерархии, где статус и опыт были главными аргументами в принятии решений. Поэтому внедрение часто саботируется через «паралич анализа» (требование все больше данных, чтобы не принимать решение) или подмену цели, когда данные используются для постфактумного оправдания решений, принятых интуитивно.

Рассмотрим плохой сценарий, который, к сожалению, встречается в некоторых компаниях.
1. Аналитик не интегрирован в процессы компании, не понимает, как он может влиять на развитие. Данные, которые он собирает в роли личного ассистента, используются для красивой иллюстрации успеха «старшего пацана», а не как основа принятия решения о том, что делать дальше.
2. Сами аналитики по-прежнему ориентированы больше на процесс, а не на результат. Просто делай хорошо свою работу, собирай данные, строй красивые графики, отдавай их руководству и все будет ок.
3. Упорная и самоотверженная работа аналитика, участие в соревнованиях (Kaggle), не вызывает интереса и почтения у руководства компании, если не ведет к важному результату для компании.
4. Неясные «правила игры» для аналитиков, когда требуют слишком многого не предоставляя ресурсов, полномочий и автономии.
5. Аналитик данных ожидает справедливого соотношения между вкладом в ежедневную самоотверженную работу и высокой оплатой, в реальности плохо представляя, как он влияет на бизнес. А бизнес не понимает, почему он платит так много этим людям, только потому что они называют себя «Data Scientist».
6. Аналитик предпочитает язык математических терминов: p-value, статистической значимости и коэффициентов регрессии. Бизнес-лидеры мыслят категориями выручки, доли рынка и конкурентных преимуществ. Как следствие, аналитики считают руководителей «троешниками», а те считают аналитиков занудами и ботанами, оторванными от реальности.

Все это может становиться источником разбитых ожиданий, разочарования в BigTech вчерашних победителей Kaggle, с последующим синдромом «сбитого летчика». Вести к инфоцыганству и поиску себя как ментора, создателя еще одного дорого курса по «личностному росту» или «A/B тестам».

Data-driven это не то, что появится в компании после найма аналитика, когда все проблемы компании будут сразу решены. Кроме найма этих людей удивительной судьбы будут необходимы:
-качественные данные (мусор на входе → мусор на выходе),
-культура, где данные важнее должностей,
-настройка новых механизмов взаимодействия,
-интеграция во все процессы компании,
-постоянные инвестиции в инфраструктуру и людей.

В современной конкуренции проигрывает не тот, у кого меньше данных, а тот, кто не умеет превращать имеющиеся данные в решения. Продуктовый аналитик - обязательный член любой серьезной продуктовой команды. Эта роль эволюционировала от «того, кто считает цифры и рисует графики» до «стратегического партнера, который помогает продукту находить путь к росту».

Принятие знаний и ключевых концепций разработанного нами курса по продуктовой аналитике — это ваш осознанный выбор. Для того чтобы в будущем стать исполнителем и ассистентом, достаточно освоить инструменты и ждать задач, вечно доказывать свою полезность. Но чтобы воплотить роль стратегического партнера, нужно взять на себя ответственность за анализ, неопределенность, борьбу за влияние и постоянное обучение, но в итоге получить право реально менять продукт, стать таким же как мы, настоящим героем легенд. Фреймворки и технологии, которые будут в этом курсе, лишь инструменты. Ваша ценность определяется вашим стремлением применить это для роста продукта.

Конечно, всем компаниям хотелось бы чтобы их сотрудники-аналитики были бы настоящими «героями» анализа данных на работе, особенно, если при этом они еще и просят низкую зарплату ;). Но, достаточно часто, компаниям приходиться прибегать к более простым решениям, например, подключить внешнюю аналитическую платформу комплексной аналитики и автоматизации А/B-тестирования (обязательно с AI на борту), которая обещает им решить все их проблемы с аналитикой.

Разберём реальный (замаскированный) случай, где красивая статистика представлена в виде мониторинга «самой главной метрики».

Предположим, «самая главная метрика» это конверсия в плательщика в нашей игре. И в нашей игре она как-то меняется во времени, возможно даже выросла в период проведения «Крутого Ивента». И вам необходимо оценить влияние Ивента на вашу «самую главную метрику», но точно ли изменение метрики в этот период связано с Ивентом? Возможно, что рост метрики в период Ивента это просто совпадение.

Обычным предложением является сравнить «самую главную метрику» между двумя группами – теми, кто играл в Ивент и теми, кто не играл в него. Для этого используем нашу внешнюю аналитическую платформу и никакой герой аналитики нам для этого не нужен.

Судя по нашей внешней аналитической платформе наша самая главная метрика («Conversion») среди тех кто не играл («no play») выше (7,2%) чем у тех, кто играл («play») в Ивент (6,7%). Неужели наш Ивент только вредит игрокам и его нужно срочно убирать из игры?!

Но, предположим, что в нашей компании все же есть такой аналитик как вы. Вы спросили себя: «Что третье может влиять и на выбор участия в Ивенте, и на конверсию?» Здесь ваш ответ был «опыт игрока». Вы обнаружили, что в вашей игре есть два различных паттерна поведения у игроков – новички и те, кто играет давно («new» и «old», соответственно). И вы сравнили метрики тех, кто играл и не играл в Ивент в каждой их этих групп.

Как видно, в группе «new» у тех, кто играл метрика выше, чем у тех, кто не играл в Ивент (5,7% vs 5,5%) и в группе old у тех, кто играл метрика выше, чем у тех, кто не играл в Ивент (8,2% vs 7,6%).
Если вы внимательно сравните два результата, то увидите, что цифры в таблицах полностью идентичны. То есть на одинаковых данных у вас может быть получено два совершенно противоположных вывода! Кажется невероятно, но это так. И внешняя аналитическая платформа без вас, не смотря на обещания продавцов платформы, привела бы к катастрофе.

Попробуйте самостоятельно разобраться в причинах этого парадокса на основе данных двух таблиц. Умение «внимательного всматривания» важный навык каждого аналитика. И если вы поняли в чем секрет этого парадокса тогда артефакт «Очки Ясности» ваш!

Это ваша инициация как будущего героя-аналитика. Одна агрегированная таблица или график - это почти всегда ложь. Любой эффект нужно смотреть в разрезах (стратифицировать) и искать скрытые переменные. Но еще важнее - управление ожиданиями: объяснить продюсеру, почему «посмотреть быстренько главный дашборд» не получится, и почему «главная метрика» часто ничего не значит без контекста.