«Домклик» от Сбера построил BI-систему на базе бесплатных инструментов. Целью проекта стало не только импортозамещение зарубежных систем, но и разработка удобного и простого сервиса для визуализации данных, не требующего специальных знаний, кроме владения SQL и принципами работы сводных таблиц. О реализации проекта рассказывает Дмитрий Леонов, руководитель направления по исследованию данных и номинант на премию Data Award.
— В чем заключалась проблема? Зачем потребовалось создавать собственную BI-систему?
У нас в компании на еженедельной основе готовится большое количество аналитических материалов, из которых формируется большая презентация для совещания топ-менеджеров. Помимо этого, конкретным командам необходима регулярная аналитика для внутренних совещаний и отслеживания эффективности работы бизнеса. Сотрудникам в регионах необходимы различные детальные выгрузки и отчеты для разбора кейсов и анализа отклонений в работе.
Все эти потребности закрывались с большим количеством ручного труда аналитиков, отчетность была очень разрозненна по своему формату, структуре и размещалась в разных местах. Не было должного контроля качества данных и «единого источника правды». У разных команд были разные подходы к построению отчетов и разные инструменты для этого.
Кроме этого, было много дублирующихся показателей с разной логикой расчета. Это происходило как раз из-за разрозненности в подходах к отчетности и отсутствия единых правил.
— Какой подход к решению был выбран?
Было принято решение о создании единой системы, в которой будет храниться вся официальная отчетность управления с централизацией работы аналитиков. Подход подразумевал разработку единых правил и требований к размещаемым отчетам, а также обеспечение контроля качества данных и поддержание их максимальной актуальности.
— Какие требования предъявлялись к будущему решению?
Необходимо было создать простой инструмент, чтобы сократить время на создание новых аналитических материалов, а также обеспечить новым сотрудникам быстрое погружение в процесс. С точки зрения пользователей должна была обеспечиваться максимальная актуальность данных и поддержка работы на мобильных устройствах. Для сотрудников в регионах требовался портал для возможности скачивания отчетов в виде файлов.
Нужно было обеспечить разграничение доступа к конфиденциальной информации вроде финансовых показателей и данным HR. Также было важно создать решение с постоянной ИТ-поддержкой, соблюдением требований кибербезопасности и мониторингом качества данных.
— На каких технологиях построено решение?
Бэкенд реализован на Python и PostgreSQL, а также Clickhouse. В качестве фронтенда используется React.
— Как учитывали потребности пользователей? Что им вообще нужно?
Первоначально требования шли от текущей отчетности и пожеланий топ-менеджеров. Для них важно иметь доступ к аналитике круглосуточно, с мобильного телефона или компьютера, видеть достоверные проверенные данные, быстрые внесения изменений аналитиками.
После реализации MVP проводились регулярные встречи с пользователями и выявлялись более специфичные требования. Вдобавок, в процессе работы с инструментом аналитиками, сформировался большой пласт работ по более тонкой настройке визуализации.
— Что получилось удачнее всего, а над чем еще предстоит работать?
Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Достаточно легко и безболезненно прошел переход на нашу систему с всего множества платформ, которые использовались ранее.
Предстоит много работ по доведению инструмента до полноценной BI-системы – то есть добавление большего количества визуализаций, вариантов расположения виджетов, более точной настройки отображения, дополнительных сложных вычислений и формул.
Остается большое количество технических задач и задач по улучшению пользовательского опыта.
— Каких результатов удалось достичь?
Удалось централизовать аналитику и наладить процесс построения отчетности. У нас получилось сформировать простые и понятные правила по построению дашбордов и данным, на основе которых они строятся, а также привести отчетность к единому формату как данных, так и визуализации. Очевидно, удалось популяризовать работу с отчетностью, ведь около двух третей всех наших пользователей теперь посещают систему каждый рабочий день.
Важно отметить метрики по качеству и скорости работы дашбордов. Среднее время загрузки данных в виджетах – менее 1 секунды. Этого удалось достичь за счет лимитов на скорость выполнения скриптов и на количество данных, на которых строится визуализация. Для более детальных отчетов и выгрузок у нас используются отчеты в виде файлов, которые можно связать с виджетами.
— Насколько сильно снизились требования к аналитикам? И как вообще более простой сервис отразился на процессах?
При найме новых аналитиков перестало требоваться знание BI-инструментов вроде Tableau, PowerBI, QlikView. Основным требуемым навыком выступает SQL и аналитическое мышление.
Простой процесс создания дашбордов значительно снизил время их разработки. Уменьшилось дублирование одних и тех же показателей от разных аналитиков. Как следствие, повысилось доверие к отчетности.
— Пытались ли оценить финансовый результат?
Проводился сравнительный анализ расходов на покупки лицензий зарубежных популярных BI-инструментов (до ухода этих компаний из России). Получались достаточно крупные суммы с учетом большого количества пользователей и аналитиков.
Создание отдельной команды под разработку собственного решения получилось более выгодно экономически.
— В чем роль проекта для компании и для рынка в целом?
В текущих реалиях основная роль – конечно же, импортозамещение зарубежных продуктов, а также обеспечение бесперебойной работы с отчетностью в рамках компании.
Ожидается распространение системы на другие подразделения – такой шаг поможет коллегам перенять наш опыт и лучшие практики, а не тратить ресурсы на создание собственной системы аналитики в условиях практически отсутствия альтернатив на рынке. Конечно, можно найти решения open source, но требуется много времени и ресурсов чтобы развернуть и настроить их под себя. А для специфических задач наверняка потребуются доработки такой системы.
— Каковы планы по развитию решения?
Планируем превратить решение в полноценный BI-инструмент с поддержкой всех основных возможностей по визуализации и анализу данных. Важно совершенствовать интерфейс, чтобы процесс работы аналитиков стал максимально простым и интуитивно понятным.
А для распространения на другие подразделения планируем создать коробочную версию. Это подразумевает довольно большую техническую работу и анализ потребностей коллег. Возможно, у них есть очень специфичные задачи, которые у нас не решались, и для этого потребуется расширить функционал.
