В онлайн-кинотеатре ivi запущена аналитическая платформа, призванная сократить временные и финансовые издержки, связанные с получением отчетности. Компании требовалось обеспечить корректное, эффективное и быстрое перемещение и преобразование данных для их последующего использования в критически важных процессах подготовки отчетности. О реализации этого проекта рассказывает Дмитрий Антонов, руководитель отдела технической аналитики ivi, номинант на премию Data Award.
— Компания всегда уделяла внимание аналитике пользователей. Неужели внутренняя аналитика при этом проседала? Почему потребовались дополнительные усилия в этом направлении?
По сути сама аналитика не проседала, просто на сбор нужных данных для построения регулярных отчетов и решению других аналитических задач уходило достаточно много времени. Некоторые решения были не автоматизированы, данные загружались аналитиками в песочницу, доверие к таким данным было не очень большим. Команды, которые помогали в доставке данных в хранилища, были разрозненными, а инструменты – не стандартизированными.
— Какие задачи требовалось решить?
В первую очередь это консолидация потоков данных между источниками и хранилищами в одном месте. Требовалась единая платформа и единая команда.
Нужна была платформа, которая хорошо себя зарекомендовала и была стабильна, так как у нас были планы выхода на биржу и ставились определенные требования по прохождению аудита в части загрузки данных и инструментов, которые мы для этого используем.
— Почему возникли проблемы с доверием бизнеса к данным? Ведь это цифровой бизнес, он изначально построен на данных.
Бизнес очень быстро рос и развивался, источники часто и быстро менялись, менялась логика. Часто данные с момента получения от источника до представления конечному потребителю теряли актуальность. Также не все данные, которые использовались для принятия решения, проходили полный цикл валидации, аналитики загружали что-то в песочницу и строили отчетность без необходимой проверки.
— Какие платформы были выбраны и почему?
Была выбрана Informatica Power Center как стабильное решение. В ходе пилотного проекта она показала возможность подключаться к основным нашим источникам и умение работать с нашими хранилищами. Важно было выбрать готовый инструмент, который не надо значительно адаптировать под нашу среду, чтобы запустить новые переливки данных и мигрировать текущие переливки в достаточно сжатые сроки.
— Что в ходе проекта было самым сложным?
Пришлось налаживать основные процессы разработки практически с нуля, так как и команда, и платформа были новыми. Они работают параллельно с уже устоявшимися решениями.
— Какие были достигнуты результаты?
Нам удалось перенести ряд ключевых для бизнеса заливок из источников, увеличив оперативность поступления данных. Выстроен процесс разработки в новой команде вокруг нового для нас инструментария. Кроме того, налажена обработка потока новых задач и упрощена доработка существующих.
— Как с появлением платформы изменились процессы принятия решений?
В ряде ключевых процессов, связанных с финансовой отчетностью, бизнес смог отказаться от ручного ввода данных и перейти на данные, поставляемые из источника в хранилище. До того эти данные либо не поставлялись, либо поставлялись с большой задержкой, что было недопустимо в данном случае.
— Какие вы видите направления развития аналитической платформы?
Планируем большую автоматизацию процессов, чтобы решать типовые процедуры максимально быстро с минимальным вовлечением разработчиков и администраторов. Будем проводить дальнейшую миграцию загрузок на новую платформу, ускорять поступление и обогащать данные, чтобы бизнес получал больше информации, которая была ранее недоступна.