«Ростелеком» запустил собственную систему управления данными, которая не только обеспечила компании технологическую независимость, но и дала возможность повысить собственную эффективность. О реализации проекта рассказывает Андрей Телюков, директор управления развитием платформы больших данных «Ростелеком» и номинант на премию Data Award.
— Как и почему у «Ростелекома» появился собственный продукт для управления данными?
«Ростелеком» – крупнейший в России интегрированный провайдер цифровых услуг и решений, который присутствует во всех сегментах рынка и охватывает миллионы домохозяйств, государственных и частных организаций. Это оказывает влияние и на структуру компании, в которую входит несколько больших региональных филиалов. Мы почувствовали потребность обладать всеми необходимыми данными в едином месте, и данный факт сподвиг нас к реализации проекта по созданию единого корпоративного хранилища – «Платформы управления данными».
Во время работы над этим большим проектом собралась сильная дата-команда, компетенции которой позволяли решать сложные, нетривиальные задачи. Это уже выходило за классические рамки дата-офиса – речь шла о проектировании и разработке собственных инструментов по работе с данными.
Сначала мы делились своим опытом в группе компаний «Ростелеком», но потом пошли дальше и стали предлагать свои наработки рынку. О правильности такого решения свидетельствует нынешний высокий спрос на наш продукт.
— Когда начинался проект, никто не мог представить мощного санкционного кризиса. Что было первичным при разработке решения: импортозамещение, минимизация стоимости владения, технологические преимущества и т.п.?
Все перечисленные аргументы комплексно повлияли на принятие решения о разработке «Платформы управления данными». При этом все же можно выделить первичные причины и посмотреть, как решались задачи хронологически.
В первую очередь перед командой, конечно же, стояла задача минимизации совокупной стоимости владения. Переход на продукт собственной разработки позволяет отказаться от лицензионных затрат на решения других компаний. Это позволило расширить нашу команду и выделить группы специалистов по отдельным направлениям.
Сильное влияние оказало и движение в сторону отказа от зарубежных вендоров. Силами команды мы выполнили необходимые регистрационные и сертификационные действия для подтверждения того, что продукты «Платформы управления данными» – собственная разработка и созданы на базе открытых решений. Это позволило нам получить регистрацию в реестре отечественного ПО.
И, наконец, самая сложная и важная часть – получить технологические преимущества. Мы внимательно следим за рынком, изучаем запросы от внутренних и внешних заказчиков, анализируем потребности и формируем вектор развития наших продуктов. В результате удобный, качественный и надежный сервис получает не только «Ростелеком», но и другие наши клиенты.
— Каких принципов придерживались при создании платформы?
В нашей команде большинство специалистов в прошлом были пользователями подобных систем, то есть «по ту сторону баррикад». Поэтому основной принцип – разработка качественного и удобного решения, которая позволила бы экономить время и силы всем многочисленным участникам процесса работы с данными, и тем самым давать экономическую выгоду бизнесу. Кроме того, мы стараемся подходить к каждой задаче критически, чтобы процесс разработки был выстроен эффективно и можно было избежать лишних и ненужных затрат.
Еще один важный принцип, особенно актуальный в последнее время, – это безопасность разработки. Мы уделяем этому вопросу большое внимание. Работаем и выстраиваем процесс, разработки, сборки и тестирования таким образом, чтобы в наш продукт не попадали уязвимые и сомнительные зависимости.
И в заключение хочется обозначить мой личный принцип. Я как руководитель команды много внимания уделяю развитию и росту сотрудников. Нам удалось собрать в одну команду сильных технических специалистов, и мы продолжаем расти и дальше, что позволяет говорить, что наша техническая команда – одна из лучших в этой отрасли в стране.
— Что собой представляет разработанная платформа?
Наша платформа управления данными – это 14 продуктов, которые охватывает полный жизненный цикл работы с данными: от подключения системы источника до искусственного интеллекта. В «Ростелекоме» внедрены следующие компоненты, о сути которых можно догадаться из названий: RT.DataLake, RT.Warehouse, RT.Streaming, RT.ClusterManager, RT.DataLoader, RT.DataSync, RT.DataGovernance, RT.MDM.
Хранилище данных содержит около 7 Пбайт данных, в том числе аналитический контур объемом более 400 ТБайт. Хранилище охватывает данные из 450 внутренних источников компании, а также 30 внешних источников (СМЭВ, ФНС, СПАРК, 2ГИС, «Яндекс» и др.).
— Есть ли «фишки» платформы, которыми в «Ростелекоме» особенно гордятся?
В первую очередь, это несколько наших сборок Hadoop под названием RT.DataLake. У нас есть набор для миграции с зарубежных аналогов «один в один» по версиям, а также сборки с более свежими версиями сервисов и компонент. Мы достаточно быстро движемся за комьюнити и при этом продолжаем набирать скорость, благодаря автоматизации. И наши процессы сборки и тестирования – это несомненно, отдельная фишка.
Кроме того, мы много инвестировали в работу над UX/UI нашей собственной разработки RT.ClusterManager. Это решение, которое сильно упрощает работу со сложными системами наподобие Hadoop и Greenplum и позволяет из одного места удобно собрать хранилище данных любой сложности, а также интегрироваться с облачными провайдерами «Ростелекома».
В разработке у нас еще немало «секретных» решений, о которых предстоит рассказать в ближайшем будущем.
— Сразу ли ориентировались на вывод решения на внешний рынок?
Как упоминал ранее, это было последовательное развитие, которое привело нас к текущему состоянию дел. При этом, так или иначе, когда почти три года назад мы вывели «Платформу управления данными» в отдельное направление, мы уже были ориентированы и на внешний рынок.
— Вообще насколько востребованной на рынке оказалась «Платформа управления данными»? И какими видятся дальнейшие перспективы?
Сейчас наблюдается наличие постоянного спроса. Компании пытаются адаптироваться к новым реалиям, но надо понимать, что такой спрос носит вынужденный характер, и поэтому он будет ограничен во времени. Дальнейшие перспективы «Платформы управления данными» могут быть обеспечены только технологическим лидерством. Уникальные идеи и решения позволят развиваться нам – как команде платформы, клиентам и компании «Ростелеком» в целом.
— Какие результаты достигнуты?
Мы исключили лицензионные риски и продолжили эффективно управлять данными в условиях ухода западных вендоров. Повышены доступность, актуальность и качество данных для бизнеса. Увеличена скорость подготовки отчетности и, как следствие, скорость принятия управленческих решений. На новой платформе уже выполнено более 300 бизнес-проектов. Сокращены затраты на поддержку и развитие витрин данных и отчетности, появилась возможность быстрого анализа, построения пилотных моделей за счет наличия песочницы для бизнеса с доступом ко всем аналитическим данным.
Достигнута экономия около 600 млн руб. за счет отказа от использования стороннего ПО и перехода на решение собственной разработки. На пятилетнем горизонте экономия должна составить более 1 млрд руб.
— Какова роль проекта для бизнеса компании и рынка?
Можно выделить несколько видов эффектов. Во-первых, направление B2G. Построена экосистема управления данными на отечественных продуктах в крупнейшем телеком-операторе страны. Это дает надежность и независимость решения, устойчивость к валютным рискам и политическим изменениям. Обеспечена эффективная работа по национальной безопасности и антитеррористической деятельности – исключена возможность предоставления услуг связи запрещенным организациям.
Во-вторых, достигаются B2С-эффекты. Речь идет о планировании строительства и модернизации сети, а также об эффективном обслуживании клиентов. Инструменты платформы позволяют выявлять закономерности в поведении клиентов и оптимизировать инфраструктуру и ресурсы, внедрять чат-боты, оперативно устранять проблемы. Наконец, есть кадровые и ESG-эффекты.
— В числе эффектов вы отдельно упоминаете ESG. Насколько эта повестка сохраняет актуальность, с учетом изменения политической обстановки?
«Платформа управления данными» в целом предназначена для того, чтобы удовлетворять запросы быстрорастущего рынка. Тенденция последних лет транслирует многократное увеличение объема данных, с которыми приходится иметь дело нашим клиентам. Мы как команда, которая работает над платформой, можем и должны предлагать рынку оптимальные решения для работы с данными.
Новые технологии, доработки платформы, различные алгоритмы сжатия позволяют оптимизировать хранение и организовать эффективную обработку данных. В свою очередь, это оказывает влияние на количество закупаемого оборудования и потребление энергии, что в конечном итоге позитивно влияет на экологию. Безусловно, мы продолжим работать над данным направлением, так как в этом часть нашего бизнеса и одно из конкурентных преимуществ.
— Каково будущее платформы, куда она движется?
В ближайшем будущем мы планируем объединить все наши продукты в единую платформу. Мы уже движемся в этом направлении, но на текущий период все же остается некая разрозненность.
Ключевая цель – предоставить пользователю некий «комбайн», с помощью которого можно будет решить весь спектр задач по работе с данными – от хранения до построения BI-отчетности. Это позволит убрать лишние накладные расходы и дублирование при сопровождении огромного числа разрозненных сервисов.
