Вестник цифровой трансформации

«Домклик»: BI своими руками
«Домклик»: BI своими руками

Дмитрий Леонов: «Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Переход на нашу систему со всего множества платформ, которые использовались ранее, прошел достаточно легко и безболезненно»


14:07 22.03.2023  |  Николай Смирнов | 2376 просмотров



Дмитрий Леонов, руководитель направления по исследованию данных «Домклик», – о создании собственной BI-системы на базе бесплатных инструментов.

«Домклик» от Сбера построил BI-систему на базе бесплатных инструментов. Целью проекта стало не только импортозамещение зарубежных систем, но и разработка удобного и простого сервиса для визуализации данных, не требующего специальных знаний, кроме владения SQL и принципами работы сводных таблиц. О реализации проекта рассказывает Дмитрий Леонов, руководитель направления по исследованию данных и номинант на премию Data Award.

— В чем заключалась проблема? Зачем потребовалось создавать собственную BI-систему?

У нас в компании на еженедельной основе готовится большое количество аналитических материалов, из которых формируется большая презентация для совещания топ-менеджеров. Помимо этого, конкретным командам необходима регулярная аналитика для внутренних совещаний и отслеживания эффективности работы бизнеса. Сотрудникам в регионах необходимы различные детальные выгрузки и отчеты для разбора кейсов и анализа отклонений в работе.

Все эти потребности закрывались с большим количеством ручного труда аналитиков, отчетность была очень разрозненна по своему формату, структуре и размещалась в разных местах. Не было должного контроля качества данных и «единого источника правды». У разных команд были разные подходы к построению отчетов и разные инструменты для этого.

Кроме этого, было много дублирующихся показателей с разной логикой расчета. Это происходило как раз из-за разрозненности в подходах к отчетности и отсутствия единых правил.

— Какой подход к решению был выбран?

Было принято решение о создании единой системы, в которой будет храниться вся официальная отчетность управления с централизацией работы аналитиков. Подход подразумевал разработку единых правил и требований к размещаемым отчетам, а также обеспечение контроля качества данных и поддержание их максимальной актуальности.

— Какие требования предъявлялись к будущему решению?

Необходимо было создать простой инструмент, чтобы сократить время на создание новых аналитических материалов, а также обеспечить новым сотрудникам быстрое погружение в процесс. С точки зрения пользователей должна была обеспечиваться максимальная актуальность данных и поддержка работы на мобильных устройствах. Для сотрудников в регионах требовался портал для возможности скачивания отчетов в виде файлов.

Нужно было обеспечить разграничение доступа к конфиденциальной информации вроде финансовых показателей и данным HR. Также было важно создать решение с постоянной ИТ-поддержкой, соблюдением требований кибербезопасности и мониторингом качества данных.

— На каких технологиях построено решение?

Бэкенд реализован на Python и PostgreSQL, а также Clickhouse. В качестве фронтенда используется React.

— Как учитывали потребности пользователей? Что им вообще нужно?

Первоначально требования шли от текущей отчетности и пожеланий топ-менеджеров. Для них важно иметь доступ к аналитике круглосуточно, с мобильного телефона или компьютера, видеть достоверные проверенные данные, быстрые внесения изменений аналитиками.

После реализации MVP проводились регулярные встречи с пользователями и выявлялись более специфичные требования. Вдобавок, в процессе работы с инструментом аналитиками, сформировался большой пласт работ по более тонкой настройке визуализации.

— Что получилось удачнее всего, а над чем еще предстоит работать?

Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Достаточно легко и безболезненно прошел переход на нашу систему с всего множества платформ, которые использовались ранее.

Предстоит много работ по доведению инструмента до полноценной BI-системы – то есть добавление большего количества визуализаций, вариантов расположения виджетов, более точной настройки отображения, дополнительных сложных вычислений и формул.

Остается большое количество технических задач и задач по улучшению пользовательского опыта.

— Каких результатов удалось достичь?

Удалось централизовать аналитику и наладить процесс построения отчетности. У нас получилось сформировать простые и понятные правила по построению дашбордов и данным, на основе которых они строятся, а также привести отчетность к единому формату как данных, так и визуализации. Очевидно, удалось популяризовать работу с отчетностью, ведь около двух третей всех наших пользователей теперь посещают систему каждый рабочий день.

Важно отметить метрики по качеству и скорости работы дашбордов. Среднее время загрузки данных в виджетах – менее 1 секунды. Этого удалось достичь за счет лимитов на скорость выполнения скриптов и на количество данных, на которых строится визуализация. Для более детальных отчетов и выгрузок у нас используются отчеты в виде файлов, которые можно связать с виджетами.

— Насколько сильно снизились требования к аналитикам? И как вообще более простой сервис отразился на процессах?

При найме новых аналитиков перестало требоваться знание BI-инструментов вроде Tableau, PowerBI, QlikView. Основным требуемым навыком выступает SQL и аналитическое мышление.

Простой процесс создания дашбордов значительно снизил время их разработки. Уменьшилось дублирование одних и тех же показателей от разных аналитиков. Как следствие, повысилось доверие к отчетности.

— Пытались ли оценить финансовый результат?

Проводился сравнительный анализ расходов на покупки лицензий зарубежных популярных BI-инструментов (до ухода этих компаний из России). Получались достаточно крупные суммы с учетом большого количества пользователей и аналитиков.

Создание отдельной команды под разработку собственного решения получилось более выгодно экономически.

— В чем роль проекта для компании и для рынка в целом?

В текущих реалиях основная роль – конечно же, импортозамещение зарубежных продуктов, а также обеспечение бесперебойной работы с отчетностью в рамках компании.

Ожидается распространение системы на другие подразделения – такой шаг поможет коллегам перенять наш опыт и лучшие практики, а не тратить ресурсы на создание собственной системы аналитики в условиях практически отсутствия альтернатив на рынке. Конечно, можно найти решения open source, но требуется много времени и ресурсов чтобы развернуть и настроить их под себя. А для специфических задач наверняка потребуются доработки такой системы.

— Каковы планы по развитию решения?

Планируем превратить решение в полноценный BI-инструмент с поддержкой всех основных возможностей по визуализации и анализу данных. Важно совершенствовать интерфейс, чтобы процесс работы аналитиков стал максимально простым и интуитивно понятным.

А для распространения на другие подразделения планируем создать коробочную версию. Это подразумевает довольно большую техническую работу и анализ потребностей коллег. Возможно, у них есть очень специфичные задачи, которые у нас не решались, и для этого потребуется расширить функционал.

 

Теги: Бизнес-аналитика Импортозамещение Сбер Data Award

На ту же тему: