Использовать data-driven подход, быть в курсе изменений в бизнесе и операционной работе и сразу реагировать на них, корректируя прогнозы и адаптируя решения, – очень важно для команды, которая развивает HiFi-стриминг Звук. Аналитики компании для решения этой задачи используют бот в Telegram, с помощью которого они уменьшают время реакции на инциденты и высвобождают ресурсы на подготовку отчетов. О реализации проекта рассказывает Павел Пуряев, руководитель отдела аналитики в Звуке и номинант на премию Data Award.
— Почему анализ данных – это важно для Звука?
Сегодня люди живут в мире контента. И мы – часть этого мира, наш сервис относится к развлекательной индустрии. Мы преображаем жизнь, а не диктуем ее правила. Наша миссия – обогатить жизнь человека, сделать ее интереснее и эмоциональнее. Для этого нам необходимо постоянно анализировать поведение пользователей в сервисе и принимать решения по развитию и изменению на основе этих данных.
Анализ данных – это достаточно сложный процесс, как в части необходимой инфраструктуры, так и в части экспертизы у сотрудников, непосредственно работающих с данными. Мы собрали сильную команду аналитики, которая решает все необходимые задачи, от технических – создания витрин, построения ETL-процессов, до аналитических – очистки выбросов, построения и расчета дерева метрик, анализа отклонений, формирования гипотез, поиска точек роста, проведения A/B-тестов.
— Как работа менеджеров с данными была организована ранее? В чем были проблемы, почему не устраивало?
Ранее метрики считались по ad-hoc запросам, а затем передавались заказчику. Часто метрики можно интерпретировать и считать по-разному, и логика расчета ложилась на плечи аналитика. Если в компании несколько аналитиков в разных направлениях, то при таком подходе возникает проблема разных расчетов для одной и той же метрики. И как следствие – разные данные у разных заказчиков и невозможность принятия правильных управленческих решений.
Эту проблему мы решили с помощью единой инфраструктуры для метрик. Так, если метрика когда-то уже была рассчитана, она попадала в инфраструктуру и любой аналитик мог ее переиспользовать в своих дашбордах и отчетах без необходимости придумывать логику самостоятельно. На основе этой инфраструктуры были реализованы разные дашборды для отдельных направлений, и на какое-то время проблемы ушли. Но когда метрик стало ощутимо много, менеджеру приходилось просматривать сразу несколько дашбордов, чтобы получить взгляд сверху по ситуации или отдельному продукту, а это занимает очень много времени. Аналитики настроили автоматические отправки на почту, но проблема оставалась: большое количество отчетов просто не успевали просмотреть.
Мы ценим время своих коллег, поэтому обратили внимание на проблему перегрузки отчетами и реализовали возможность для каждого конкретного менеджера выбрать и отслеживать именно то, что ему нужно. Получился фактически персональный конструктор отчетов.
— Что «под капотом» аналитической инфраструктуры?
Инфраструктура состоит из двух систем: системы автоматического расчета метрик и системы доступа к данным.
Система по автоматическому расчету представляет собой выстроенный ETL-процесс, написанный на Python и автоматизированный с помощью Airflow. Мы создали шаблон, который ежедневно последовательно запускается для каждой метрики, считает ее в различных разрезах и записывает в витрину. Логика расчета каждой метрики записана отдельным SQL-скриптом, и с помощью параметров шаблон поэтапно подставляет необходимые разрезы, выполняет расчет и записывает результаты в витрину. Документирование метрик (название, описание, логика) происходит в Apache DataHub, что позволяет быстро найти нужную метрику и понять логику ее расчета. Аналогичным образом считаются доверительные интервалы для каждой метрики и каждого разреза. Доверительные интервалы помогают увидеть статистически значимые изменения в метриках и вовремя среагировать на них.
Для прогнозирования мы используем библиотеку Prophet с подобранными для каждой метрики коэффициентами. Прогноз пересчитывается раз в неделю и учитывает исторические данные, маркетинговые кампании, праздники, факторы сезонности и т.д. Эта система позволяет нам в автоматическом режиме считать все метрики, нужные разрезы, доверительные интервалы, статистически значимые изменения, а также строить прогнозы.
Что касается системы доступа к данным, то для составления дашбордов мы используем FineBI. Однако это решение требует лицензий для просмотра отчетов и доступно только из внутренней сети. Менеджмент попросил о возможности быстро (без помощи аналитиков) смотреть значения конкретной метрики с динамикой в нужном разрезе. В итоге мы пришли к простому и удобному решению: Telegram-боту, в котором можно подписаться на метрики в нужных разрезах (тогда он будет ежедневно в 10 утра присылать сводку по метрикам, на которые пользователь подписан) или просто разово запросить информацию.
— Как выбирали платформы для реализации проекта?
Мы искали простой инструмент, который не требует долгого обучения, дополнительных лицензий и будет доступен каждому члену команды (с поддержкой ролевой модели). Все это мы смогли реализовать в функционале бота в Telegram.
Нам нужна была не просто отправка отчетов, а еще и их персонализация. В Telegram-ботах уже реализован удобный интерфейс для взаимодействия с пользователями. Пользоваться ботом быстрее, чем открывать табличные отчеты или дашборды и ежедневно отслеживать там показатели, кроме того, есть возможность настроить выгрузку под себя.
— Как выглядит взаимодействие с ботом?
Взаимодействие построено так: пользователь выбирает метрику, настраивает нужные разрезы, нажимает опцию «подписаться» или «разовый просмотр».
Бот в ответ отправляет сводку по выбранной метрике: динамику за последние три месяца по дням с детализацией (доверительный интервал, обозначения статистически значимых изменений и прогноз на 30 дней вперед). Дополнительно отправляется информация в виде абсолютных значений за текущий день и сравнение с предыдущим значением, значением неделю назад и значением предыдущего месяца в аналогичный день. Если в текущий день есть статистически значимое изменение, это также будет отражено в сообщении.
Отдельная полезная функция бота – это ежедневный отчет по статистически значимым изменениям, так называемый «алертинг». Он показывает изменения в каждом разрезе и отмечает метрики с значимым падением или ростом. Данный функционал очень полезен аналитикам и продакт-менеджерам для быстрого реагирования.
— Приведите примеры того, как новые инструменты повлияли на процессы принятия решений, принеся очевидную пользу.
Во-первых, существенно сократилось количество типовых запросов в аналитику. Это означает уменьшение повторяющихся действий и прямое высвобождение ресурсов аналитиков. Во-вторых, менеджеры начали сами следить за метриками и приходить к командам с вопросами, если показатель резко меняется. Это ускорение реагирования, что ценится любым бизнесом. Наконец, дата-аналитики быстрее отлавливают проблемы в данных и устраняют проблемы сразу во всех отчетах. Это повышение качества данных их надежности.
К примеру, менеджер отдела роста ежедневно отслеживает показатели, в случае их критического изменения ставит задачи на исследование, принимает оперативные решения, чтобы повлиять на ситуацию. Другой пример: менеджер саппорта отслеживает значение месячной аудитории и соотносит его с количеством обращений, чтобы выявлять наличие нехарактерного количества запросов. На основе прогноза он также может корректировать количество необходимых дежурных специалистов в смене.
— Каких результатов достигли?
На текущий момент в аналитической инфраструктуре ежедневно рассчитываются показатели по более чем 170 метрикам. Кроме того, по каждой из них рассчитываются доверительные интервалы для формирования уведомлений по резким аномалиям. Сейчас мы расширяем возможности инфраструктуры путем добавления прогноза в дополнение к фактическим данным. По 10 метрикам такие прогнозные данные уже готовы.
К инфраструктуре подключен функционал, который позволяет подписаться на отчет по конкретной метрике в конкретном срезе. Благодаря этому можно получать полную актуальную информацию по любой метрике без необходимости постоянно запрашивать ее у ответственных и отслеживать вручную. Время реакции на аномальные изменения метрик сократилось с нескольких дней до нескольких часов.
Около 10% сотрудников Звука уже используют наш инструмент в своей ежедневной работе на постоянной основе. Основываясь на данных отчетов, которые отправляет бот, мы принимаем бизнес-решения.
— Пытаетесь ли оценить финансовые результаты? Чем можете похвастаться?
В этом проекте мы не фокусировались на изменении финансовых показателей. Нашей целью было и остается снижение нагрузки на отдел аналитики, оптимизация процессов, развитие data-driven культуры в Звуке и ускорение реакции, а значит – решение проблемных кейсов, связанных с данными.
— Почему пока только 10% сотрудников используют инструмент на постоянной основе? Кто в итоге стал первыми пользователями и почему?
Эти 10% – те менеджеры, которым важно отслеживать метрики. Фактически это люди, принимающие операционные бизнес-решения, исходя из полученных данных. Объективно не на всех уровнях и не во всех отделах есть потребность в этом. Для нас важно, что именно для этой заинтересованной группы мы смогли увеличить вовлеченность, и тем самым двигаемся в сторону data-driven подхода.
— Что делаете, чтобы повысить процент пользователей? И вообще, каковы целевые показатели использования?
Мы рассказываем про преимущества использования бота на внутренних митапах и во внутренних рассылках, а также во время онбординга сотрудников. Моя миссия как руководителя подразделения аналитики – выстроить полноценный data-driven подход на всех уровнях компании, чтобы любое, даже самое незначительное, решение проходило через призму данных. На 2023 год мы ставим себе цель 40% сотрудников: в дополнение к текущим пользователям, это будут все руководители направлений.
— Что дальше? В каком направлении будет развиваться решение?
Текущего функционала уже достаточно для полноценной работы и решения проблемы на первом этапе, но мы планируем доводить его до совершенства, а также учитывать возникающие потребности пользователей. Для этого мы постоянно проводим опросы.
Первое направление развития – увеличение информативности отчетов. Будем улучшать структуру и увеличивать ценность отправляемого отчета. Сюда будет входить повышение удобства обработки результатов – например, добавление описаний к метрикам или разделение их на группы.
Второе важное направление – добавление нового функционала. Например, у нас появятся новые отчеты (рассматривается вариант отправки PDF-отчета из дашборда) или возможность объединять несколько показателей на один график.