Статьи

«ИТ-ночь на Ивана Купала» — традиционная встреча цифровых управленцев, с которой начинается отсчет очередного года сообщества «я-ИТ-ы», прошла насыщенно и плодотворно. Съехавшиеся со всех концов страны ИТ-руководители обсуждали интересные исследования и кейсы, делились полезным опытом, разбирали свои ошибки и тренировались в управленческих поединках. «я-ИТ-ы» активно растет и развивается: каждый день в сообщество добавляется один новый ИТ-управленец, сообщил один из учредителей сообщества «я-ИТ-ы» Павел Клепинин.

В числе обсуждаемых ИТ-директорами тем снова актуализировались вопросы эволюции роли ИТ-подразделений и необходимости ИТ-бизнес-партнеров. Согласно исследованию «Монитор технологий» компании РДТЕХ, в 28% компаний, опрошенных в прошлом году, ИТ-подразделение – это основной драйвер цифровой трансформации. При этом 48% ресурсов ИТ-подразделений направлено на разработку цифровых продуктов и сервисов.

Павел Клепинин: «Каждый день в сообщество добавляется один новый ИТ-управленец»

Некогда модный тренд на превращение ИТ-руководителей в ИТ-бизнес-партнеров так и не стал доминирующим, но и не растворился совсем. Как рассказала Людмила Трофимова, директор по цифровому развитию Президентской Академии РАНХиГС, опрос резидентов сообщества «я-ИТ-ы» подтвердил предположение, что массового появления ИТ-бизнес-партнеров не наблюдается, поскольку результаты запуска этой активности не стабильны и больше зависят от личных особенностей конкретного исполнителя, чем от системно выстроенной работы ИТ-бизнес-партнеров. Тем не менее, у 40% опрошенных в компании есть либо выделенная должность, либо роль ИТ-бизнес-партнера. Причем лидируют роли, связанные с глобальным развитием ИТ-функции и формированием отношений с заказчиком. ИТ бизнес-партнер – это специалист, который умеет вести диалог на уровне первых лиц компании/функции, обладает стратегическим видением и понимает взаимосвязь бизнес-задач с ИТ-решениями. По аналогии с семейным доктором он знает историю «болезни» своего бизнеса, персональные особенности, владеет полным «анамнезом», и его цель — упреждающе работать на сохранение «здоровья». Ключевые компетенции ИТ-бизнес-партнера явно связаны с цифровизацией бизнес-процессов: он должен знать бизнес-процессы функции и имеющиеся на рынке ИТ-решения, которые позволяют их автоматизировать, а также уметь инициировать и реализовывать необходимые проекты цифровизации. По мнению участников дискуссии на ИТ-Купале, наличие ИТ-бизнес-партнера ускоряет принятие управленческих решений, так как коммуникации входят в число его основных задач.

Людмила Трофимова: «Новые роли появляются тогда, когда влияние ИТ на эффективность бизнеса становится очень высоким»

Стать хорошим ИТ-бизнес-партнером способен далеко не каждый айтишник. Хорошо справятся с этой ролью бывшие ИТ-директора, бизнес-аналитики и бизнес-архитекторы, главные по развитию ИТ, проектные менеджеры. И совсем не подходят на эту роль ответственные за инфраструктуру, пресейлы, ИТ-архитекторы и аналитики данных. Подавляющее большинство респондентов считает, что ИТ бизнес-партнеры не нужны абсолютно всем компаниям и на появление этих позиций в оргструктуре в большей мере влияет масштаб холдингов.

В целом решающее влияние на появление новых ролей в ИТ оказывают не масштаб компании, ее зрелость, корпоративная культура или численность ИТ, а степень влияния цифровизации на эффективность бизнеса. Чем больше эффективность бизнеса зависит от ИТ-инструментов, тем сильнее это вынуждает ИТ-функцию эволюционировать, выстраивая новые эффективные модели работы.

Директора по информационной безопасности, которые реагирование на угрозы и восстановление работоспособности приравнивают по важности к профилактическим мерам, приносят больше пользы, чем те, кто придерживается устаревших подходов с абсолютной нетерпимостью к сбоям. Каждое очередное нарушение кибербезопасности показывает, что управление в службах информационной безопасности осуществляется скорее за счет адреналина, а не реализации конкретных замыслов. Но такая тактика не обеспечивает достаточной устойчивости. Отрасль добилась невероятных успехов в части профилактики. Что же касается реагирования и восстановления, они оставляют желать лучшего, поскольку никто не хочет примерять на себя менталитет неудачника. А между тем, в условиях, когда успешных кибератак все больше, а их последствия ощутимее, организациям необходимо повышать эффективность реагирования и восстановления, не ограничиваясь одними лишь инвестициями в профилактические меры.

На пути к обеспечению дополненной кибербезопасности (так в Gartner решили назвать повышение уровня реагирования и восстановления до уровня профилактики) приоритетное внимание следует уделять трем направлениям: обеспечению отказоустойчивости системы кибербезопасности бизнеса, минимизации набора инструментов при сохранении его эффективности и повышению уровня устойчивости специалистов по кибербезопасности.

Обеспечение отказоустойчивости системы кибербезопасности

Gartner рекомендует сосредоточить основное внимание на двух областях, где превентивные меры неэффективны: генеративном искусственном интеллекте и использовании технологий независимых организаций. Генеративный ИИ развивается очень быстро, и предотвратить все атаки одновременно невозможно. Решающее значение здесь приобретает способность адаптироваться к неизбежным сбоям, своевременно реагировать на них и быстро восстанавливать работоспособность. Профилактические рекомендации необходимо дополнять пособиями по эффективному реагированию и восстановлению.

Что касается управления рисками кибербезопасности, связанными с независимыми организациями, работа с теми, кто является источником риска, будет продолжаться. Но при этом необходимо убедиться, что планы обеспечения непрерывности функционирования бизнеса, разработанные независимыми организациями, хорошо задокументированы и протестированы.

Минимизация набора инструментов с сохранением его эффективности

Руководители служб информационной безопасности продолжают хранить старое оборудование, срок годности которого истек, и в то же время спешат добавить новые инструменты, не понимая до конца, какие дополнительные затраты и сложности для управления это влечет за собой. Необходимо разорвать порочный круг «синдрома приобретения оборудования», препятствующий успешному развитию, и по возможности минимизировать количество различных инструментов для наблюдения, защиты и реагирования на попытки использования уязвимостей организации.

Чтобы достичь этой цели, руководители служб информационной безопасности должны:

• Выявлять избыточности и бреши в защите, сопоставляя имеющийся набор инструментов со своей системой управления.
• Добиваться технического обоснования выбранной концепции с учетом рисков развертывания, а не только функциональности компонентов.
• Активно внедрять в существующие инструменты генеративный искусственный интеллект.

Повышение уровня устойчивости специалистов по кибербезопасности

Руководители служб информационной безопасности и их команды зачастую склонны к проявлению героизма. Они считают, что должны избегать плохих результатов любой ценой, даже в ущерб своему здоровью. Однако такой подход во многих случаях приводит к обратному эффекту. Чтобы добиться результатов, к устойчивости персонала нужно относиться так же, как и к другим компетенциям:

• Упростите сотрудникам получение необходимой им поддержки. Сюда относятся консультации и тренировки на стрессоустойчивость во время активных инцидентов.
• Передавайте свой опыт. Руководители должны подавать пример и делиться ситуациями, когда поставленных целей достичь не удалось, а также сделанными из этого выводами.
• Добивайтесь снижения эмоционального выгорания. Ищите причины возникновения трудностей, устраняйте узкие места и используйте средства автоматизации для освобождения творческой энергии людей.

Переизбыток доступных данных способствовал сегодняшнему всплеску внедрения искусственного интеллекта и его генеративных возможностей в большей степени, чем какой-либо другой фактор. Сбор, очистка, систематизация и защита данных фактически превратились для искусственного интеллекта и машинного обучения в самостоятельный проект – процесс управления, в котором важную роль играют сами инструменты ИИ. Результатом всего этого может стать значительное улучшение управления данными, которое принесет пользу всему предприятию.

База данных остается основным хранилищем данных, но экосистема инструментов управления данными на основе искусственного интеллекта (включая продукты стартапов, которым может пока не хватать стойкости и полноценного понимания всех нюансов функционирования баз данных) уже получает повсеместное распространение. Со временем с предлагаемым программным обеспечением для баз данных и облачными сервисами, очевидно, будет интегрироваться все больше функций управления.

Применение ИИ для автоматизации управления данными способно приносить немедленную отдачу. Чем лучше предприятие управляет своими данными, тем лучше сотрудники, занимающиеся машинным обучением, могут использовать эти данные для создания приложений на базе искусственного интеллекта. В более широком смысле добавление искусственного интеллекта к управлению данными оказывает положительное влияние на их аналитику, соблюдение нормативных требований и повышение качества данных в любой отдельно взятой организации.

Рассмотрим подробнее, каким образом ИИ модернизирует процессы, связанные с управлением, и как инструменты, улучшенные с его помощью, способствуют успеху как приложений искусственного интеллекта и машинного обучения, так и процесса обработки данных в целом.

Каталогизация данных

Знаете ли вы, где находятся ваши данные? Для эффективного управления организациям необходима полная инвентаризация всех основных хранилищ данных и понимание того, что в них содержится. Задача идентификации корпоративных данных, доступа к ним и их классификации становится все более сложной в том числе и из-за бесконтрольного распространения облачных хранилищ данных, не говоря уже о наличии полуструктурированных журналов, используемых для выявления операционных тенденций и аномалий. Программное обеспечение для каталогизации данных позволяет составить подробную схему этих хранилищ.

Искусственный интеллект может помочь на всех этапах каталогизации данных организации, начиная с автоматического обнаружения хранилищ данных, имеющих отношение к предприятию. Спектр инструментов каталогизации варьируется в широких пределах. Некоторые используют ИИ в том числе и для определения политик контроля доступа и организации поиска на естественном языке. Каталогизация на основе искусственного интеллекта значительно сокращает объем ручного труда, связанного с классификацией информационных ресурсов, и выявляет происхождение данных, показывая, откуда они берутся и как менялись.

Управление метаданными

Эффективное управление метаданными, то есть информацией, описывающей данные компании, имеет основополагающее значение для успешного управления. Инструменты каталогизации на основе искусственного интеллекта позволяют идентифицировать метаданные для правильной классификации информационных ресурсов. Кроме того, управление метаданными имеет жизненно важное значение для надежной работы с данными. Широкий спектр существующих предложений – от программного обеспечения для интеграции данных до платформ наблюдения за ними – открывает новые возможности и для управления метаданными.

Инструменты управления метаданными, основанные на искусственном интеллекте, облегчают процесс ручной классификации данных и помогают устранять различия в описаниях метаданных. В прошлом предприятия оперировали относительно статичными метаданными, но сегодня инструменты ИИ непрерывно отслеживают и собирают динамическую информацию о хранении, использовании и перемещении потоков данных. Помимо других преимуществ, метаданные, подробно описывающие ресурсы данных, могут использоваться для выдачи на основе ИИ рекомендаций по оптимизации платформ хранения и даже для определения потенциальных путей интеграции данных.

Качество данных

Наибольшее влияние ИИ оказал на качество данных, которое характеризуется шестью основными аспектами: точностью, полнотой, согласованностью, уникальностью, своевременностью и достоверностью. Очевидно, что при отсутствии у данных этих свойств риск катастрофических последствий в результате операционной деятельности заметно возрастает. А специалистам, занимающимся наукой о данных, и аналитикам приходится прилагать титанические усилия к очистке данных, прежде чем их можно будет использовать.

Инструменты искусственного интеллекта и машинного обучения позволяют автоматически находить пропущенные значения, осуществлять нормализацию форматов данных, выявлять аномалии в них и выполнять многие другие функции. Конечно, решения (например, идет ли в случае одинаковых имен речь об одном и том же или о разных клиентах) людям по-прежнему приходится принимать самостоятельно, но общая экономия времени оказывается огромной. По мере того, как инструменты искусственного интеллекта находят все больше закономерностей в обширных объемах данных, выдаваемые ими рекомендации, обнаруживаемые корреляции и вносимые коррективы постоянно улучшаются. Соответствующие критерии используются при организации мониторинга качества данных в режиме реального времени.

Моделирование данных

Структурирование базы данных – или всей архитектуры данных – начинается со сбора и анализа требований к данным, а также с разработки логических и физических моделей, обеспечивающих соответствие этим требованиям. В ряде продуктов искусственный интеллект позволяет архитекторам данных и инженерам легко создавать визуальные представления моделей данных.

Сегодня на многих предприятиях моделирование данных направлено на обслуживание приложений искусственного интеллекта и машинного обучения. Некоторые инструменты обработки данных с использованием ИИ предлагают автоматизированное конструирование признаков (feature engineering), при котором ключевые характеристики извлекаются из наборов данных, предназначенных для подготовки к обучению ИИ. В сочетании с автоматическим машинным обучением это позволяет подбирать модели разных типов, определяя наиболее подходящие для конкретных приложений и прогнозной аналитики. Если данных для эффективного обучения модели оказывается слишком мало, инструменты моделирования на основе искусственного интеллекта могут использовать существующие хранилища и генерировать синтетические данные, которые очень похожи на реальные.

Политика данных и управление их жизненным циклом

Политику обработки своих данных организациям необходимо определять на основе федеральных, государственных, отраслевых и международных нормативных актов, а также внутренних бизнес-правил. На крупных предприятиях создаются комитеты по управлению данными, которые устанавливают соответствующие правила и разъясняют порядок их выполнения. Описывается все это в специальном документе, который дополняется по мере изменения правил и процедур. Поддержка естественного языка генеративным искусственным интеллектом позволяет автоматизировать создание черновых вариантов такой документации и значительно облегчает внесение в нее последующих изменений.

Анализируя шаблоны использования данных, нормативные требования и внутренние рабочие процессы, ИИ помогает организациям определять и внедрять политику хранения, а также автоматически идентифицировать данные, срок службы которых истек. Искусственный интеллект способен инициировать даже процедуры архивации и удаления. Наряду со снижением рисков и обеспечением выполнения нормативных требований автоматизация архивирования данных создает условия для освобождения места и сокращения затрат на хранение.

Готовность данных

Системы аварийного восстановления на базе искусственного интеллекта помогают организациям разрабатывать эффективные стратегии восстановления, прогнозируя возможные сценарии сбоев и принимая превентивные меры для минимизации простоев и исключения потери данных. Системы резервного копирования, основанные на искусственном интеллекте, гарантируют целостность резервных копий и автоматически инициируют процедуры восстановления потерянных или поврежденных данных в случае сбоя.

Системы управления хранением на базе ИИ реплицируют и распределяют данные по нескольким хранилищам, обеспечивая высокий уровень их готовности и низкую задержку. Средства прогнозной аналитики на основе искусственного интеллекта собирают данные с датчиков, из журналов оборудования и архивных записей систем технического обслуживания в целях минимизации потенциальных сбоев или простоев. Для предотвращения снижения уровня готовности данных профилактические меры важны, как ничто иное.

Человек по-прежнему необходим

С управлением данными искусственный интеллект по большей части справляется достаточно легко. Многие задачи (от обнаружения данных и их очистки до управления политиками), связанные с управлением и выполняемые сегодня во многом вручную, не представляют для ИИ особых сложностей и решаются им с более высокой точностью по сравнению с людьми. И это уже большая победа, особенно если учесть, что для операций машинного обучения нужны очищенные и упорядоченные хранилища данных, на основе которых можно создавать и обучать приложения искусственного интеллекта.

Следует, однако, помнить, что искусственный интеллект не обладает в полной мере разумом в том смысле, который мы вкладываем в это слово. Для устранения даже незначительных расхождений в данных может понадобиться анализ контекста и опыт, который способны приобрести только люди. Очевидно, никто не станет сегодня поручать машине создание корпоративной архитектуры данных. Да, искусственный интеллект уже сейчас способен исключить значительную часть ручного труда при управлении данными. Но он не сможет решать за вас все.

На рынке отечественных ЦОДов происходит настоящий бум. Из года в год игроки демонстрируют стабильный рост минимум на 20%, это очень хороший показатель. Уход международных вендоров положительно отразился на развитии компетенций как отечественных производителей решений для дата-центров, так и самих заказчиков. Рассмотрим текущие тенденции и события на рынке ЦОД в 2024 году.

Развиваются высокотехнологичные решения

Все помнят, что в первый год санкций российские вендоры сконцентрировались на выпуске наиболее востребованных простых продуктов. Это привело к возникновению дефицита предложения в нише высокотехнологичного оборудования для ЦОДов. Сейчас ситуация изменилась. Еще в прошлом году отечественные производители начали разработки технологически сложных решений под индивидуальный запрос заказчиков. Это достаточно долгий и затратный процесс. Однако российские вендоры, готовые предложить аналоги зарубежных серверов и систем хранения данных, справляются с поставленными перед ними задачами и демонстрируют положительную динамику.

Усложняются пожелания заказчиков и к производителям инженерных систем. Если еще год назад заказчикам требовались преимущественно фреоновые кондиционеры, то сейчас у них появился интерес к инновационным технологиям охлаждения. Запущено несколько проектов с применением «холодных стен» – в частности, в новом ЦОДе Tier IV одного из крупнейших телекоммуникационных холдингов.

Проекты становятся сложнее

Еще вчера ситуация на рынке требовала от бизнеса сфокусироваться на поддержании работоспособности ЦОДов, а не их модернизации. Теперь заказчики не откладывают технологически сложные проекты на завтра. Некоторые из таких проектов начинались еще в 2021-2022 году. В период кризиса клиентам пришлось самим искать новых вендоров и оборудование, обеспечивать его совместимость с существующими системами. К настоящему моменту эти проекты, хоть и с задержкой, реализованы. Рынок семимильными шагами наверстывает то, что было упущено, и делает это успешно.

Растет число локализованных продуктов

До 2022 года большинство инфраструктурных проектов на 80% и более состояло из оборудования западных брендов. Спустя год к этой цифре уже приблизились решения, преимущественно локализованные в России. На данный момент долю оборудования для ЦОДов, произведенную отечественными компаниями, можно осторожно оценить в 30-50% — в зависимости от того, какие продукты считать российскими.

Приходится отметить: то, что производится в России, зачастую состоит из азиатских компонентов, а то, что привозится в Россию — целиком является азиатским продуктом. В зависимости от формы контракта между компаниями это может быть как полностью локализованное на азиатском рынке изделие, так и заказное решение под брендом и дизайном российского производителя.

На все 100% российской компоновки нет даже, например, у блоков распределения питания на базе процессора «Байкал», которые фактически полностью разработаны и производятся в России. Все основные компоненты у них российские или имеют статус российских. Но мелкие SDM-компоненты в этих блоках все же импортного производства — в России аналогов нет.

Забота о совместимости оборудования стала общей

Изначально задача по обеспечению совместимости оборудования для ЦОДов была прерогативой международных вендоров. Российский бизнес брал оборудование известного производителя, переплачивал за бренд и рассчитывал, что имя вендора будет гарантом качества, в том числе в части совместимости. В большинстве случаев такой подход оправдывал себя. Исключения, само собой, случались, но это происходило не так часто, чтобы придавать большое значение.

Сейчас совместимость оборудования достигается общими усилиями производителя, партнера-инсталлятора и самого клиента. Естественно, переход к такой модели вызвал рост компетенций как у интеграторов, так и у заказчиков. Бизнесу пришлось самому научиться собирать системы из имеющегося на рынке оборудования, проверять их на отсутствие конфликтов и устойчивую работоспособность. От вендоров по-прежнему ждут информационную и техническую поддержку, но времена, когда производителю во всем верили на слово, остались в прошлом.

Комплексных решений становится больше

Поскольку любому клиенту нужна уверенность в сбалансированности решения, российские производители активно конкурируют на рынке комплексных решений для центров обработки данных. В связи с этим трендом хотелось бы отметить три важных момента.

Во-первых, наличие в линейке комплексных решений является ощутимым преимуществом вендора только в том случае, если он действительно гарантирует взаимодействие всех подсистем. Например, у C3 Solutions есть реализованный проект для «СПБ Биржи», в котором было необходимо модернизировать серверную площадку компании. Специалисты всего за полгода оборудовали помещение российской биржи «под ключ», снабдив заказчика полным комплексом инженерных решений.

Во-вторых, требования к комплексности оборудования для разных участков ЦОДа отличаются. Особенно комплексность важна для серверных систем и систем хранения, поскольку не каждая такая система, собранная из разных компонентов, в принципе будет работать. С инженерными решениями проще – скажем, у кондиционеров нет большой зависимости от систем бесперебойного питания.

Наконец, следует помнить, что комплексность дает лучшие результаты там, где у заказчика есть единая точка ответственности за совместимость оборудования. Когда подбором систем занимаются разные команды, каждая из которых преследует свои цели, решить вопросы совместимости продуктов становится сложнее.

Стоимость сопоставимых решений уравнивается

Сопоставимые по функционалу и качеству отечественные и импортируемые из дружественных стран продукты сравнялись по стоимости. Конечно, если клиент закупает оборудование напрямую в Юго-Восточной Азии, оно будет априори дешевле. Но в его итоговую стоимость войдет логистика, прохождение таможенных процедур, обеспечение пусконаладочных работ, сервисной поддержки, гарантийного и постгарантийного обслуживания.

Сейчас на российском рынке в основном представлено два типа производителей. Первые являются отечественными компаниями, которые локализуются в России. Вторые — зарубежные поставщики, которые стремятся зайти на наш рынок, открывают здесь представительства и предоставляют сервис. Но цена продуктов этих вендоров в процессе локализации растет и уравнивается по рынку.

Искусственный интеллект требует роста мощностей

В связи с большими потребностями в искусственном интеллекте очевиден еще один тренд. Нагрузка на ЦОДы от использования ИИ резко возрастает. Если раньше стандартом считался дата-центр со стойками на 5 кВт, то сейчас и 10 кВт на стойку – не предел. Для реализации проектов с применением ИИ уже сейчас нужны стойки и инженерная инфраструктура на 30-50 кВт, и вопрос о том, каким именно способом эту потребность закрыть, актуален.

Оптимальное технологическое решение должно быть гибким и конвергентным, оно должно позволять реализовывать в той или иной комбинации как маломощные продукты на 5 кВт, так и высоконагруженные стойки. К тому же наличие в ЦОДе таких стоек требует решить непростую задачу с их охлаждением.

Уже в ближайшем будущем рост применения технологий ИИ в ЦОДах приведет к необходимости увеличивать их энергоснабжение, и надо будет найти способ сделать это экологично.

Влияние новых санкций невелико

В конце февраля Минфин США ввел блокирующие санкции против крупных российских дата-центров. До сих пор нет полного понимания, по каким критериям одни ЦОДы подверглись санкциям, а другие нет, даже если они работают с государством. Зато за эти два месяца стало очевидно, что какого-либо серьезного влияния очередные санкции на российские дата-центры оказать не смогли.

Одна из причин — российский рынок коммерческих центров обработки данных сейчас сосредоточен на клиентах из России и ближнего зарубежья, для которых эти санкции не являются ограничительным фактором. Даже если кто-то из крупных азиатских игроков, выходя на российский рынок, не рискнет разместить мощности в ЦОДах из санкционного списка, эти случаи будут единичны и не приведут к отрицательной динамике.

Несмотря на санкции и другие сложности, о которых сказано выше, можно прогнозировать, что темпы роста рынка отечественных центров обработки данных в 2024 году сохранятся.

Автор — Леонид Юль, директор по развитию компетенций ЦОД C3 Solutions

В 2023 году команда Онлайн-университета «Ростелекома» разработала и провела образовательную программу повышения квалификации «Дата-инженер» для сотрудников компании на базе собственной отечественной «Платформы управления данными». За счет обучения внутренними ресурсами удалось подготовить необходимых специалистов, смягчив кадровый дефицит. О реализации программы рассказывает Екатерина Барабанова, директор по развитию персонала «Ростелеком» и номинант на премию Data Award.

- В каких направлениях «Ростелеком» видит особый дефицит кадров? В какие цифры вы его оцениваете?

Цифровая трансформация бизнеса — одна из национальных целей развития страны на ближайшее будущее. Это направление активно поддерживает и развивает «Ростелеком». Сейчас компании нужны специалисты, знакомые с корпоративными системами и обладающие знаниями для их развития. То есть требуются дата-инженеры, специалисты по машинному обучению, системные аналитики, разработчики баз данных, системные администраторы, DevOps-специалисты.

- В чем именно заключаются основные проблемы?

Сегодня в стране наблюдается острый дефицит ИТ-специалистов, который не закончится в ближайшее время. Рынок с точки зрения количества людей физически сократился. При этом число вакансий в сфере ИТ выросло на 40%.

Страна нуждается в отечественных и независимых от импорта программных решениях. Поэтому «Ростелеком» разрабатывает собственные решения по направлениям кибербезопасности, телекоммуникаций, облачных технологий, виртуализации, биометрии, видеонаблюдения, управления данными, искусственного интеллекта, цифровой медицины, государственных цифровых услуг и др. Одним из таких решений стала наша платформа управления данными — универсальный набор отечественных программных продуктов для построения хранилища данных и аналитики.

Компании нужны специалисты, обладающие достаточной квалификацией для разработки и развития наших решений. На рынке найти таких специалистов крайне сложно. Также компания стремится к повышению эффективности процессов и их автоматизации на всех уровнях.

- Какими способами пытаетесь решать эти проблемы?

Мы действуем сразу в нескольких направлениях для преодоления кризиса дефицита кадров. Во-первых, используем технологии для повышения эффективности: обучаем сотрудников языкам программирования и работе с искусственным интеллектом, чтобы они могли автоматизировать свою работу. Расширяем осведомленность о доступных инструментах внутри компании.

Во-вторых, растим кадры внутри. Запускаем собственные программы переквалификации, где на практике обучаем актуальным знаниям и инструментам. Развиваем собственную инфраструктуру для обучения и работаем с лучшими преподавателями.

Программа повышения квалификации «Дата-инженер» комбинирует в себе два подхода. На ней обучаются сотрудники, которые хотели научиться работать с новыми инструментами для автоматизации процессов на текущем месте работы, и те, кто хотел сменить карьерную траекторию и перейти в область дата-инженерии.

- Кто занимался разработкой программы?

В разработке и проведении программы участвовала школа программирования «Ростелекома», которая обучила уже более 3,5 тыс. сотрудников за пять лет работы, а также дата-офис. Дата-офис – это наш драйвер data-driven культуры, один из лидеров отрасли управления данными в России, команда-разработчик платформы управления данными. Экспертом и преподавателем был приглашен Азат Якупов – сертифицированный архитектор данных, инженер в сфере высоконагруженных и высокодоступных систем хранения, специалист в области аудита отечественной операционной системы «Аврора».

- Что включает программа?

Программа разрабатывалась с «чистого листа». Мы ориентировались на сотрудников, которые уже знакомы с SQL, Python и активно работают с большим количеством данных. Это позволило сосредоточиться на продвинутых инструментах. Программа получилась насыщенной, в нее вошли семь образовательных блоков, для практики был развернут учебный стенд. В рамках обучения сотрудники выполнили 10 практических заданий, разработали и защитили итоговый проект.

- Что было сделано в рамках проекта?

В рамках реализации проекта за 6,5 месяцев удалось провести большую работу. Была разработана система отбора на программу обучения и получено более 100 заявок от сотрудников различных подразделений.

С методической стороны разработана программа для обучения сотрудников от теоретических материалов до практических занятий (более 450 страниц). С технической стороны — подготовлен учебный стенд полностью на отечественном программном обеспечении, организован постоянный доступ участников обучения к стенду и круглосуточная поддержка стенда на время обучения. На протяжении всего курса было проведено более 30 занятий и консультаций в формате онлайн.

В рамках программы студенты изучили и на практике отработали вопросы работы с данными: хранение, трансформация и использование.

- Какие инструменты работы с данными изучались?

Изученные инструменты охватывают управление инфраструктурой ресурсов, работу с большими данными на платформе Hadoop, работу со структурированными данными на платформе GreenPlum, работу с потоковыми данными на платформе Kafka, аналитику данных на платформе ClickHouse.

- Каковы результаты обучения?

Проведен пилотный поток программы на 50 сотрудников различных подразделений в дистанционном формате. Стоит отметить, что они высоко оценили качество программы. По результатам опроса выпускников NPS программы превысил 90, содержание программы оценено на 4,82 из 5, а практическая применимость – на 4,68 из 5.

По результатам обучения сотрудники защитили 20 командных проектов, причем некоторые из них нацелены на решение реальных задач компании. Девять выпускников планируют переход в ИТ-подразделение компании, а остальные видят возможности в применении знаний на текущем рабочем месте.

Программа позволяет решить вопрос оттока кадров, рекрутинга кадров в дата-офис, а также повысить эффективность бизнес-аналитики в компании.

- В чем роль проекта для компании?

Пилотный проект обучения был ориентирован на сотрудников компании, которые уже работают с данными. На программе студенты смогли систематизировать и дополнить свои знания по работе с данными: от подготовки до визуализации и принятия решений, познакомиться на практике с продвинутыми инструментами работы с большими данными, узнать больше о направлениях работы с данными внутри компании.

За счет обучения студентов из разных подразделений компании мы ожидаем повышение качества и своевременности аналитики, сокращение издержек за счет оптимизации процессов обработки данных, а также рост удовлетворенности клиентов за счет способности более быстро и точно реагировать на их потребности и требования рынка.

- Каковы дальнейшие планы по развитию программы?

В 2024 году мы планируем адаптировать программу «Дата-инженер» для внешних слушателей и сделать ее доступной на одной из популярных платформ дистанционного образования.

Сеть ресторанов быстрого питания Rostic’s провела масштабную реорганизацию платформы данных, внедрив более современные и эффективные инструменты и обеспечив их работу в Yandex Cloud. О влиянии этого проекта на бизнес и открывающихся возможностях рассказывают Егор Попов, ведущий разработчик хранилищ данных, и Никита Целищев, инженер по данным сети ресторанов Rostic’s. Проект компании номинирован на премию Data Award.

- Что представляла собой аналитическая платформа Rostic’s до сих пор?

Егор Попов: Аналитическая платформа сети Rostic’s состоит из двух элементов: data-платформа и BI-отчетность. Изначально загрузка данных в платформу строилась на классическом ETL-подходе с использованием самописного Python-фреймворка на основе PySpark и SQL UDF для загрузки слоев внутри хранилища данных. Интеграция с основными и самыми крупными источниками данных была выстроена на прямых подключениях к базам данных и инкрементальной загрузке данных путем фильтрации SQL-запросов по бизнес-дате.

Такой подход имеет много узких мест: например, нагрузка на систему-источник – «спам» тяжелыми SQL-запросами, а также потери данных, если в источнике что-то изменилось и при этом нет аудитных полей, указывающих на эти изменения. Да и сама реализация ETL имела ряд недостатков: каждый пайплайн нужно было разрабатывать вручную, писать пользовательскую функцию (user-defined function, UDF) под каждую загрузку, расставлять зависимости.

- В чем заключались бизнес-проблемы, приведшие к необходимости построения новой платформы данных? Почему это важно для компании?

Е.П.: Наша компания – один из лидеров на рынке ресторанов быстрого обслуживания. В сети более 1,1 тыс. ресторанов, работающих под брендом Rostic’s, расположенных в 74 регионах РФ. Рестораны генерируют большой объем данных, которые необходимо быстро обрабатывать. Правами на бренд в России владеет «Юнирест», эта компания в том числе выполняет ряд бизнес-функций, включая финансовое планирование, маркетинг, HR, управление поставками. Эффективность этих процессов напрямую зависит от качества данных.

Кроме того, бизнес Rostic’s строится по модели франчайзинга. Партнерам также необходимо предоставлять актуальную информацию о работе их ресторанов, отдавать им данные и служить для них «единым источником правды» о работе всего бизнеса. Мы предоставляем для ресторанов доступ к информации о бизнес-показателях в его точках присутствия. Такая аналитика помогает партнерам быстрее принимать решения по управлению ресторанами.

Потребителями данных является BI-отчетность, аналитики данных. Еще одна важная функция платформы – построение озера данных, то есть единого хранилища данных для всей компании. Источником данных является большое количество систем: чаще всего это реляционные базы данных, есть FTP и API, а также файлы, которые поступают на почту и в хранилище. Чтобы ускорить обработку данных и упростить работу аналитиков, потребовалось пересмотреть архитектуру хранилища и перевести его на более современный стек технологий.

- Какие требования предъявлялись к создаваемому хранилищу данных?

Никита Целищев: Во-первых, хранилище данных (DWH) должно иметь архитектуру «звезда» и обладать полным слепком всех данных со всех источников. При этом загрузка должна осуществляться ежедневно, актуальность данных – не ранее T-1, а данные должны обновляться в хранилище до 9:00 по московскому времени. Платформа данных должна включать в себя озеро данных для холодного хранения, DWH для детальных данных, витрины данных для быстрого доступа к подготовленным или очищенным данным.

Важно было изменить ETL-подход на ELT, и были необходимы инструменты управления качеством данных и обеспечения наблюдаемости данных (Data Observability).

- Как это отразилось на выбранном стеке технологий?

Н.Ц.: Обновленная платформа данных архитектурно строится на Greenplum, а инструмент dbt отвечает за трансформацию данных. Airflow оркестрирует dbt, а dbt загружает сами данные. Данные загружаются из S3, куда они попадают с помощью Airbyte.

Входная точка работ – это забрать данные из всех источников и отправить их на платформу. Хранилище организовано на базе S3. Здесь находится озеро данных и исторические данные. Из S3 удобно считывать с помощью формата PXF данные Greenplum без дополнительных фреймворков. Использование S3 также позволяет оптимизировать затраты на обслуживание Greenplum. Все исторические данные, которые не нужны оперативно, попадают в S3, где происходит их охлаждение. Данные, которые поступают из источников, поступают уже в охлажденном виде.

Мы также перешли с концепции пакетной загрузки на Change Data Capture (CDC, «захват изменения данных»). Это механизм загрузки данных, при котором учитываются только измененные данные и нет необходимости отправлять прямые SQL-запросы в базы данных. Это в том числе позволяет снизить нагрузку на систему-источник. Это позволило заметно вырасти в производительности, сократить время разработки и сохранить всю историю в первозданном виде, имея полный слепок данных с источников.

После того, данные из S3 поступили в «сырой» слой, необходимо построить детальный слой витрин. Классический подход при построении этой трансформации – самописный ETL-фреймворк, написанный на Python, который оперирует YML-файлами, обрабатывает их и загружает в хранилище. Для прогрузки слоев DWH необходимо было многое делать вручную. Дата-аналитик с отсутствием опыта работы с Airflow не мог этого сделать. Внедрение инструмента dbt дало возможность оперировать знакомым каждому языком SQL, а зависимости и загрузка данных были реализованы автоматически.

Переход на dbt с самописного ETL-фреймворка себя оправдал: аналитики сами стали создавать объекты, в два раза сократили трудозатраты на постановку объекта на регламент, исключили разработчиков из построения детального слоя витрин. Аналитики создают модели быстрее, чем это делал бы разработчик, вдвое.

Greenplum и Clickhouse часто противопоставляют, но мы используем их в связке. Оба сервиса управляются с помощью Yandex Cloud. Поддерживать два кластера самостоятельно – трудозатратно, а Yandex Cloud это автоматизировано. Greenplum мы используем для построения быстрых слоев хранилища. Clickhouse, в свою очередь, используется как система источников для BI, подготовки данных для отчетности и др. В связке мы добились крайне быстрой, оптимальной работы.

- Почему были выбраны сервисы Yandex Cloud?

Е.П.: Мы выбрали Yandex Cloud, потому что у компании есть большое количество управляемых сервисов, что помогает снизить нагрузку на команду – все рутинные задачи выполняет облачный провайдер. В частности, в Managed Service for Greenplum и ClickHouse за управление кластерами и мониторинг работоспособности сервисов отвечают специалисты Yandex Cloud. Кластерами можно удобно управлять через интерфейс, используя большое количество метрик, логов, уведомлений, дашбордов. Это помогает оперативно отслеживать, что и в какой момент происходит в хранилище. Кроме того, мы используем возможности резервного копирования – есть возможность восстановить кластер Greenplum из резервной копии за заданный период времени.

- Что в итоге представляет собой созданная платформа?

Н.Ц.: В хранилище аккумулируются и обрабатываются данные из 12 источников, в том числе из программы для предприятий общественного питания R_Keeper, учетной системы «1С», банковских приложений, сервисов заказа быстрой доставки, таких как «Яндекс Еда», сервиса для треккинга и аналитики мобильных приложений AppMetrica, платформы для автоматизации маркетинга Mindbox и других.

В качестве технологий используются ClickHouse и Greenplum для организации хранилища данных, российская BI-система «Форсайт» и Python Airflow DBT как оркестратор пополнения данных. Все инструменты развернуты на платформе Yandex Cloud в Kubernetes. Классическая «тяжелая» ETL-загрузка происходит раз в сутки, ночью. Днем перегружаются небольшие объекты, для которых необходима оперативная аналитика. Managed Kubernetes как ETL-платформа в Yandex Cloud позволяет нам разграничивать ресурсы и автоматически масштабировать кластер ночью, а днем не платить за него. Удобные мониторинги, удобная настройка.

- В чем «фишка» созданного решения, что на ваш взгляд, удалось особенно удачно?

Н.Ц.: Можно выделить несколько деталей. В первую очередь, это автоматизация трансформации данных в слоях хранилища с помощью инструмента dbt и автоматически генерируемая документация объектов хранилища. Кроме того, появился Data Lineage, реализовано CDC как полноценная замена ETL-процесса. Производится автоматическое тестирование данных на их качество в процессе загрузки. Благодаря использованию dbt разработку всех объектов хранилища теперь можно доверить аналитикам, что существенно снижает трудозатраты и время работ.

- Каких значимых результатов удалось достичь на данный момент?

Е.П.: Cущественно повысилась прозрачность в работе с данными. Каждое утро в телеграм-бот приходит отчетность о том, как прошла ночная загрузка. Высвечиваются идентификаторы записей, которые не прошли проверки – например, что-то задублировалось, по каким идентификаторам прошли дубли и сколько их было. Это помогает оперативно исправлять ошибки и следить за качеством данных.

Благодаря реализации проекта компания уже ускорила разработку новых технологий в три раза и в два раза быстрее готовит аналитические отчеты – например, по продажам позиций из меню.

- А что ожидается в дальнейшем?

Е.П.: Платформа работает с 2022 года, и за это время уже стала неотъемлемой частью бизнеса компании. У нас большие планы по развитию. Например, развитие self-service BI – концепции, при которой бизнес может сам строить аналитику по параметрам, которые ему необходимы. Мы хотим использовать данные для разработки технологий искусственного интеллекта, в частности – внедрить прогнозирование спроса и предложения, развивать персонализированные сервисы для гостей.

- Какую роль играет реализация проекта для бизнеса компании? Какие принципиально новые возможности появляются?

Е.П.: Дата-платформа помогает оперативно реагировать на изменение ключевых показателей, видеть отклонения и аномалии данных, которые происходят в результате процессов, принимать на их основании решения и более гибко управлять бизнесом, реагируя на изменения рынка.

Большинство отчетов для бизнеса формируются уже на основании существующих данных, загруженных в систему. Самообслуживание (Self-service) – важный инструмент аналитики, который помогает бизнесу самостоятельно проверять различные гипотезы и создавать новые срезы данных. В результате процесс разработки происходит гораздо быстрее и дешевле, без привлечения дорогостоящих ресурсов разработчиков.

- В каком направлении будет развиваться платформа данных Rostic’s?

Е.П.: Будет происходить уход от пакетной (Batch) загрузки в сторону потоковой загрузки (Streaming), что даст дальнейшую экономию времени. Проведем внедрение полноценного каталога данных. Ожидается развитие data-driven культуры и процессов data governance, а также в целом направления Data Science.

В ОАО «РЖД» за короткое время осуществили перенос на импортонезависимую платформу основной функциональности управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечены технологические условия для тиражирования этого решения. О реализации проекта рассказывают Кирилл Семион, начальник департамента информатизации ОАО «РЖД», и Александр Толгский, руководитель дирекции по продажам департамента «Государственные программы» IBS – номинанты на премию Data Award.

— В каком состоянии находились процессы управления НСИ в РЖД до реализации проекта? Как они были реализованы?

Кирилл Семион: ОАО «РЖД» имеет разветвленную организационную структуру и осуществляет хозяйственную деятельность по различным направлениям. С учетом этого, а также высокого уровня автоматизации деятельности ОАО «РЖД» и его дочерних предприятий одним из ключевых вопросов, стоящих перед компанией, является обеспечение единства, полноты и достоверности нормативно-справочной информации, используемой различными специалистами компании в ходе исполнения своих обязанностей.

В рамках решения этой задачи в компании в разное время были созданы специализированные системы для ведения нормативно-справочной информации, но, несмотря на это, в различных создаваемых и развиваемых информационных системах ОАО «РЖД» разработчиками были реализованы возможности по ведению НСИ. Это приводило к нарушению принципов единства и полноты нормативно-справочной информации, затрудняло взаимодействие на уровне отдельных информационных систем, усложняло существующую архитектуру и ИТ-ландшафт ОАО «РЖД».

— В чем заключались основные проблемы? Почему это было важно для РЖД?

К.С.: Ключевая предпосылка проекта — отсутствие единой системы управления НСИ. По состоянию на 2022 год в ОАО «РЖД» эксплуатировались две информационные системы, обеспечивающие централизованное ведение справочников — ИС, предназначенная для ведения технологических справочников, и система, предназначенная для ведения справочников, используемых в рамках автоматизации предприятия в целом (ERP).

Второй предпосылкой стало то, что централизованные системы ведения НСИ были созданы с использованием лучших на тот момент из представленных на рынке решений — платформы и продукты иностранных производителей. Таким образом, использование решений иностранных вендоров для автоматизации функции ведения справочников во множестве функциональных и технологических систем ОАО «РЖД», после ухода иностранных вендоров из России несло существенные риски выхода из строя вычислительной инфраструктуры и общесистемного программного обеспечения, а также обострило вопрос информационной безопасности.

Совокупность этих факторов и привела к старту проекта по созданию новой версии Автоматизированной системы централизованного ведения нормативно-справочной информации (АС ЦНСИ-2), реализованной на базе решений, включенных в реестр отечественного программного обеспечения Минцифры России, и отвечающей всем требованиям ОАО «РЖД» к решению такого класса.

— Какой подход был выбран для решения задачи?

К.С.: В ОАО «РЖД» существуют довольно жесткие требования, предъявляемые к внедряемому ПО. На старте проекта было принято решение провести анализ включенных в реестр отечественного программного обеспечения продуктов, а затем предложить разработчикам пройти комплексное тестирование в соответствии с методикой ОАО «РЖД» и подтвердить возможность применения своего решения как в части показателей назначения, так и в части предоставляемых продуктом функциональных возможностей.

Мы направили ряду разработчиков письмо с предложением провести демонстрацию и последующее тестирование их решений. Ряд компаний, включая компанию IBS, ответили согласием. По итогам тестирования, которое в общей сложности продолжалось более трех месяцев, был подготовлен отчет о тестировании, который подтвердил заявленные характеристики продукта «Планета.НСИ» и его функциональность.

После выбора решения для создания АС ЦНСИ-2 ОАО «РЖД» была проведена объемная работа по формированию границ проекта, состава нормативно-справочной информации, организационного объема и требований к создаваемой на базе платформы автоматизированной системе.

— Какие требования предъявлялись к создаваемому решению?

Александр Толгский: В первую очередь создаваемое отечественное решение необходимо было за короткое время интегрировать в существующую ИТ-архитектуру ОАО «РЖД» без ущерба для существующих процессов управления НСИ в замещаемом ПО. Чтобы упростить переход специалистов к полноценному использованию новой системы, также было необходимо, с одной стороны, воспроизвести существующую в АС ЦНСИ функциональность, а с другой — обеспечить ее реализацию максимально удобным для пользователей способом с учетом существующих технологических возможностей платформы.

В целом, если говорить про требования, система на первом этапе должна была обеспечить централизованную миграцию исторических данных и ведение более 1,4 тыс. справочников и связанных с ними метаданных, обеспечить возможность интеграции с более чем 140 информационными системами ОАО «РЖД» (как потребителями, так и источниками данных).

— Что было сделано в рамках проекта?

А.Т.: В рамках проекта была проведена масштабная работа по развертыванию отказоустойчивой конфигурации инфраструктурного ПО и платформы «Планета.НСИ» в тестовом и производственном контурах ОАО «РЖД», настроена базовая функциональность платформы и реализована дополнительная функциональность в соответствии с ТЗ, реализованы типовые средства интеграции с системами-потребителями и системами- источниками, мигрированы справочники и связанные с ними метаданные, проведено комплексное тестирование и обеспечена возможность переключения взаимодействия внешних систем со старой АС ЦНСИ на новую АС ЦНСИ-2 без пауз в предоставлении нормативно-справочной информации.

— В какие сроки и какими силами реализован проект?

А.Т.: Тестирование платформы заняло три месяца, далее порядка восьми месяцев шла работа проектной команды на стороне ОАО «РЖД». Сам проект реализации и внедрения платформы АС ЦНСИ-2 проходил с марта 2023-го по ноябрь 2023 год.

Общий размер команды с нашей стороны составил более 100 человек.

— В чем заключались сложности проекта? Как они решались?

А.Т.: При внедрении новой системы ведения НСИ требовалось воспроизвести все наполнение унаследованной системы, реализовать более 1,4 тыс. справочников, настроить связи между ними и контроли, которые обеспечивались не только видимыми триггерами в базе данных, но и в программном коде унаследованного приложения.

Кроме того, в новой системе ведения НСИ требовалось реализовать дополнительные ссылочные связи между справочниками, которые ранее велись независимо друг от друга. В процессе настройки был выявлен ряд расхождений в технологических справочниках.

Специалистами IBS совместно со специалистами Главного вычислительного центра с привлечением АО «НИИАС» была проведена работа по глубокому обследованию особенностей реализации каждого справочника, настроены автоматические процедуры сверки данных между унаследованной и новой системой АС ЦНСИ-2 и исследования причин каждого расхождения в данных и их устранения.

На этапе ввода системы в эксплуатацию требовалось обеспечить постоянную загрузку данных из систем-источников, которые не имели в тестовом контуре релевантных данных для отладки интеграции. В результате значительную часть интеграционных сценариев пришлось отлаживать уже в производственном контуре, обеспечив параллельную загрузку данных из систем-источников в унаследованную и в новую систему ведения НСИ и сверку справочников между системами.

— Что представляет собой созданное решение?

К.С.: Созданная АС ЦНСИ-2 обеспечивает централизованную функцию ведения НСИ в ОАО «РЖД», функционирует на базе программной платформы и вычислительного кластера, созданных в Российской Федерации.

Сегодня система включает в себя более 1,4 тыс. справочников, для каждого из которых реализованы модели данных, средства контроля качества данных и пользовательские интерфейсы. Для основной массы справочников АС ЦНСИ-2 является мастер-системой, а для части систем, которые еще находятся в процессе перевода на отечественные решения, АС ЦНСИ-2 выступает в качестве шлюза-маршрутизатора в старую систему АС ЦНСИ.

— Как изменились процессы, связанные с управлением НСИ? Как это повлияло на работу сотрудников?

К.С.: Благодаря реализации дополнительной ссылочной связи между технологическими справочниками упростились процессы актуализации НСИ, ряд задач, ранее выполнявшихся администраторами данных вручную, теперь выполняется в автоматическом режиме, повысилось качество данных.

С внедрением платформы «Планета.НСИ» существенно упростились процедуры по созданию новых объектов НСИ. Создание новых объектов НСИ, включая создание моделей данных, экранных форм, форм поиска и алгоритмов контроля качества данных, теперь можно проводить непосредственно через веб-интерфейс АС ЦНСИ-2 без участия разработчика.

Система также предусматривает возможность создания новых объектов НСИ при помощи импорта метаданных из шаблона, что существенно ускоряет реализацию новых объектов НСИ, и перевод ведения справочников из смежных информационных систем ОАО «РЖД» в АС ЦНСИ-2.

— Каких результатов удалось достичь?

А.Т.: АС ЦНСИ-2 за короткое время была интегрирована в существующую ИТ-архитектуру ОАО «РЖД». При этом был обеспечен перенос на импортонезависимую платформу основного функционала управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечен технологический задел для тиражирования АС ЦНСИ-2 в части состава справочников и подключения новых источников и потребителей данных.

— А какие результаты ожидаются в перспективе?

К.С.: К АС ЦНСИ-2 активно подключаются новые системы, в том числе реализуемые в рамках стратегии цифровизации ОАО «РЖД».

Мы планируем и далее развивать АС ЦНСИ-2 как в части расширения функциональных возможностей и повышения удобства пользователей в работе с системой, так и в части перевода ведения справочников из функциональных систем в АС ЦНСИ-2 и обеспечения интеграции с автоматизированными системами ОАО «РЖД».

Еще одним приоритетом для нас является расширение функционала по контролю качества данных, что позволит упростить такие процессы, как выявление дубликатов записей, нормализация данных справочников и т.д.

— В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

К.С.: Реализация проекта позволила ОАО «РЖД» выявить точки роста не только в части ведения нормативно-справочной информации, но и в существующих бизнес-процессах компании и смежных с АС ЦНСИ-2 системах. Мы продолжим и далее совершенствовать процессы ведения нормативно-справочной информации и переводить системы на централизованное ведение справочников. То есть новая информационная система стала и будет развиваться как полноценный компонент всей корпоративной системы управления данными.

Health&Nutrition (бывшее подразделение Danone в России) реализует проект перехода с корпоративной системы по управлению нормативно-справочной информацией на решение «Гармония MDM» – 100% российскую систему, внесенную в реестр отечественного ПО. О ходе работ и первых результатах рассказывает Анна Ерохина, руководитель команды технической поддержки сервисов по работе с мастер-данными Health&Nutrition и номинант на премию Data Award.

- В чем заключалась бизнес-проблема, почему внедрение MDM важно для компании?

Управление корпоративными справочниками является бизнес-критичной задачей для нормальной работы производства, логистики, продаж. Не менее важно качество мастер-данных для аналитических систем и корпоративной отчетности. Отсутствие автоматизированного подхода привело бы к многочисленным ошибкам, что повлияет на производственные процессы компании и, как итог, ее финансовый результат.

Перед нами стояла задача локализовать процессы ведения справочников в ERP-системе и получить полноценное централизованное решение для ведения корпоративных мастер-данных с подключением внутренних и внешних источников. В очень сжатые сроки в систему «Гармония MDM» должен был быть перенесен функционал из корпоративного решения Danone по управлению мастер-данными, а также проведена дополнительная автоматизация.

- Какой подход был выбран для решения задачи?

Мы выбрали итерационный подход. В первую очередь, мы сфокусировались на переносе основного функционала из корпоративного решения – внедрение MVP-версии. Затем, вторым этапом, идет настройка интеграции с корпоративной ERP-системой. Одновременно с этим на стороне вендора ведется разработка функционала системы, который поможет адаптировать новое решение к бизнес-процессам компании. Третий этап – перенос в новую систему справочников, которые вручную ведутся командой бизнеса в формате Excel, а также настройка интеграции с хранилищем данных.

- В чем заключались сложности проекта?

Как обычно, основная сложность проекта заключалась в сочетании сжатых сроков и большого объема проекта. У нас было всего шесть месяцев на внедрение MVP по пяти крупным корпоративным справочникам. Мы приняли решение проводить сверку и выравнивание данных между MDM и ERP одновременно с эксплуатацией системы. Также нам потребовалась оптимизация производительности, и доработка критически важного функционала.

Из организационных проблем можно выделить вовлечение в проект порядка 10 различных команд бизнеса и ИТ, а также одновременное подключение ресурсов MDM-проекта к общему, «большому» проекту локализации компании.

- Как решались проблемы?

Производитель «Гармонии MDM» принял в бэклог доработки коробочного решения значительный объем задач, который позволил адаптировать систему под зрелые и развитые процессы управления справочниками в нашей компании. В частности, был разработан специализированный инструмент для сверки данных с ERP-системой.

До окончания сверки и выравнивания данных справочники одновременно ведутся вручную в MDM и ERP. Старт интеграции запланирован сразу после подтверждения полной сходимости данных.

Наконец, произошло усиление менеджерского состава со стороны подрядчика для повышения управляемости проектом.

- В какие сроки и какими силами реализован проект?

Проект реализован силами подрядчика Axenix с активным и деятельным вовлечением бизнес-заказчика и локального ИТ. На внедрение MVP потребовалось шесть месяцев, на настройку интеграции – 10 месяцев, сейчас мы находимся на финальном шаге по запуску интеграции MDM с ERP.

- Что представляет собой созданное решение?

Это полноценная MDM-система, в которой ведутся критичные для бизнеса справочники материалов, клиентов, поставщиков и контрактов, с реализованными процессами управления данными. В ней уже настроены правила для проверки соблюдения бизнес-логики ведения атрибутов. У системы более 700 конечных пользователей и на данный момент она на 80% готова к интеграции с ERP.

- Что было сделано в рамках проекта?

В рамках MVP был реализован довольно объемный функционал. Во-первых, созданы справочники для хранения данных из ERP-системы: материалы, клиенты, поставщики, закупочные и сбытовые контракты, производственные рецептуры, ассортиментные матрицы, а также связанные с ними более 200 вспомогательных справочников. Работа серьезная — данные о материалах содержат 400 тыс. записей и 600 атрибутов, о клиентах – 300 тыс. записей и 300 атрибутов, о поставщиках – 70 тыс. записей и 200 атрибутов, о контрактах с клиентами и поставщиками – 4 млн и 600 тыс. записей соответственно.

Во-вторых, выстроены 90 бизнес-процессов, содержащих в себе от 1 до 10 шагов от момента инициирования заявки до финального обновления данных в справочнике, а также отправка уведомлений на почтовый ящик пользователей, задействованных в процессах. Создано 1,8 тыс. бизнес-правил, позволяющих автоматически заполнять значения атрибутов и выполнять проверку соблюдения бизнес-логики ведения данных. Настроена ролевая модель – более 60 ролей в системе, позволяющая управлять доступами и полномочиями пользователей. Функционал решения позволяет гибко скрывать и делать доступными для просмотра и заполнения поля справочника в зависимости от выбранного бизнес-процесса и роли пользователя.

Кроме того, разработан функционал массового обновления данных в системе через интерфейс (загрузка с помощью Excel-шаблона). Настроена прямая и обратная интеграция в режиме реального времени по перечисленным справочникам с корпоративной ERP-системой.

По итогам проекта разработано более 100 дополнительных функций, которые были добавлены в «коробочную» версию системы.

- А какие работы еще предстоят?

Предстоит реализовать различные справочники для хранения данных из Excel-файлов, а также из системы поддержки работы мобильных сотрудников (sales force automation, SFA) и веб-приложений: матрицы торговых точек, актуальная цена товаров на полке, мастер-данные торговых точек, варианты дизайна SKU, новинки, сроки действия дизайнов, данные для расчетов RTM. Конечно, потребуется настроить бизнес-процессы управления перечисленными справочниками и их интеграцию с хранилищем данных и другими системами.

- В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

Внедрение MDM-системы открыло нам возможность организации целостного подхода к управлению критичными для бизнеса справочниками и данными в едином инструменте.

В планах на май – настройка интеграции с корпоративной ERP-системой по справочникам материалов, клиентов и поставщиков, а также интеграция с хранилищем данных по ряду ручных справочников. В планах на июнь – настройка интеграции с корпоративной ERP-системой по клиентским и сбытовым контрактам. В планах до конца года – перенос для ведения в MDM-системе порядка 100 ручных справочников и развитие интеграции с хранилищем данных и системой SFA.

В «Ростелекоме» разработаны модели ИИ, помогающие определять сегменты клиентов, с которыми необходимо работать. Выстроенные модели затрагивают как потенциальных, так и действующих клиентов. Важной их частью является аргументация – создается «портрет» клиента и выявляются причины его склонности клиента к тому или иному продукту, что позволяет верно выстроить диалог с клиентом и привести ему убедительные аргументы. О реализации проекта рассказывает Андрей Зима, директор департамента развития решений искусственного интеллекта «Ростелеком» и номинант на премию Data Award.

- В чем заключалась бизнес-боль, какие задачи требовалось решить?

До внедрения ИИ в процесс работы с потенциальной и действующей клиентской базой, план по продажам, в основном, выполнялся за счет «клиентов-самоходов», то есть тех, кто обратился сам с потребностью подключить дополнительные телеком-услуги. Процесс кросс-продаж носил ситуативный характер и не имел системного подхода.

Возникла потребность в развитии данного процесса и формирования исходящих активностей, направленных на развитие клиентской базы. Не всегда использование одних лишь бизнес-правил давало эффект, который мог бы соответствовать тенденциям на рынке. По потенциальным клиентам проблема наблюдалась особо остро: процесс выбора наиболее конверсионного сегмента клиентов осложнялся отсутствием причин и формализованных правил этого выбора. Требовалось найти решение, позволяющее формировать комплексные предложения для клиентов, которые включали бы в себя сразу несколько услуг.

Задачей проекта стала разработка моделей ИИ, которые помогали бы бизнесу определять сегмент клиентов, с которым необходимо работать.

- Почему это важно для Ростелекома?

Внедрение ИИ-инструментов для бизнес-процессов «Ростелекома» – это необходимость, а не следование модным тенденциям. Мы предоставляем нашим клиентам более 500 видов услуг, количество наших абонентов превышает 48 млн человек, у нас более 4,1 млн B2B-клиентов, а всего в стране 7,3 млн юридических лиц, включая индивидуальных предпринимателей. Мы не можем предлагать нашим клиентам весь перечень услуг методом «ковровой бомбардировки». Нам нужны методы и алгоритмы, чтобы точно определять потребности в сервисах и услугах нашей компании, автоматизировать процессы, снижать нагрузку на сотрудников и повышать удовлетворенность наших клиентов.

- Какой подход был выбран?

Проект было решено реализовать силами внутренней команды «Ростелекома», так как основная сложность задачи была не в том, чтобы разработать саму ML-модель, а в том, чтобы полноценно внедрить ее в бизнес-процессы. А для этого нужно правильно сформулировать постановку задачи, что сделать невозможно без хорошего понимания данных компании и процессов – на формирование такой экспертизы у внешней команды ушло бы много месяцев.

Также между бизнес-подразделением и офисом Data Science нужно было выстроить партнерские взаимоотношения, а не применять модель «заказчик-исполнитель». Важно было достигать бизнес-результаты, а не просто исполнять запросы в рамках технического задания.

- Что представляет собой созданное решение?

Для обучения ML-моделей мы использовали собственные данные «Ростелекома», а также внешние данные. Результаты работы ML-моделей загружаются в бизнес-системы – например, в систему управления кампаниями (Campaign Management). Эти результаты использовались в бизнес-процессах в каналах продаж и коммуникаций.

По большому счету, результат работы ML-модели – это заполненное текстовое поле внутри карточки клиента, которое полезно продавцу во время коммуникаций: оно содержит информацию о том, какие услуги могут быть интересны клиенту. Эти услуги расположены в порядке убывания их полезности для клиента, и для каждой услуги приведена информация – почему клиенту может быть интересен предлагаемый продукт. Внутри своей привычной системы продавцы получают списки клиентов, ранжированные по общему потенциалу коммуникации. Таким образом, сокращается количество «холостых» звонков, которые не только снижают мотивацию продавцов, но и бесполезны для наших клиентов.

- Какой математический аппарат использован?

Вся математика сосредоточена в выборе алгоритма машинного обучения и правильного его применения. Мы остановились на использовании мощной и универсальной техники – градиентном бустинге. Контроль за процессом «выучивания» паттернов в поведении клиентской базы отвечает математическая функция ошибок, которая позволяет «наказывать» модель в случае неверных прогнозов и «поощрять» в случае правильных решений. Благодаря градиентному бустингу мы строим сложную композицию относительно слабых моделей. Каждый предыдущий шаг находит более сильные зависимости и отделяет их, тем самым позволяя на следующих шагах находить менее выраженные зависимости. За счет большого количества таких шагов модель хорошо предсказывает поведение клиента. Как аналогию можно привести прогнозирование временных рядов, где в начале выделяем тренд, а после этого явно видна сезонность. После выделения сезонности видны зависимости последующего значения от предыдущего. На этой идее работают, например, ARIMA-модели (интегрированная модель авторегрессии – скользящего среднего).

- Какие ИТ-платформы применялись?

Наша ML-модель разработана на языке программирования Python с использованием библиотеки LightGBM. Сбор признаков для обучения и прогнозирования производится с применением технологий больших данных – экосистемы Hadoop c системой управления базами данных Hive и хранилищем Greenplum. Координация всех процессов преобразования данных и расчета модели опирается на оркестратор Airflow. Ведение проектной деятельности по разработке программного кода, а также вывод новых релизов в промышленную эксплуатацию осуществляется посредством GitLab. Контейнеризатор приложений Docker позволяет удобно изолировать окружения моделей друг от друга, а также способствует ведению исследовательской деятельности разработчиков на серверах JupyterHub, не мешая друг другу.

Коллеги из бизнес-подразделений могут быть уверены – качественный скоринг будет доступен в нужное время и в нужном месте!

- В чем «фишки» созданного решения?

Наверное, основное отличие нашего решения – в масштабе его применения.

Мы комплексно анализируем поведение клиентов по всей стране с учетом региональных особенностей. Мы определяем общий потенциал клиента, чтобы понять, кому звонить, а кому нет, и тем самым повышаем эффективность тысяч часов рабочего времени наших продавцов. Также мы экономим время наших клиентов – мы предлагаем им не десятки разных продуктов, а только те, которые с высокой вероятностью заинтересуют их. Кроме того, определенные с помощью ИИ причины склонности клиента к продукту позволяют правильно выстроить диалог с клиентом, привести ему правильные аргументы и помочь осознать свои потребности.

Например, благодаря моделям ИИ мы видим, что наш клиент – это пункт выдачи заказов. Если мы посмотрим на сформированные с помощью ИИ предложения, там первым приоритетом стоит видеонаблюдение. А в качестве аргументов этой услуги будет указано, что видеонаблюдение для пункта выдачи заказов – это необходимый продукт для организации безопасности в помещении, а также для контроля сотрудников и подсчета посетителей. Также в процессе диалога менеджер может упомянуть, что пункты выдачи заказов часто подключают подобную услугу – это правда, и это убеждает клиентов.

- Каких результатов удалось достичь, как они соотносятся с ожиданиями?

В результате проекта была выстроена работа по созданию и развитию моделей Data Science, которые затрагивали как потенциальных, так и действующих клиентов. Были сформированы портреты каждого клиента, с указанием всех исторических изменений. Был выбран определенный период, на основании которого мы формируем «эталонного» клиента для продаж. Каждый из клиентов получил определенный скоринговый балл, на основании которого образовались группы клиентов – кластера по вероятности их покупки (высокосклонные, низкосклонные и т.п.).

Для каждого клиента были определены наиболее подходящие для него телеком-услуги. Помимо этого, мы стали понимать их приоритетность и вес. Это позволило создать эффективный процесс определения высоко склонных к покупке клиентов среди действующей и потенциальной базы, и формирования персональных предложений для каждого клиента.

- Как это оценивается в финансовом выражении?

В 2022 году мы смогли увеличить выручку по проекту в два раза по сравнению с 2021 годом, а перевыполнение плана составило 75%. Дальнейший рост выручки стал более плавным, так как мы уже приближаемся к границе возможностей ИИ, но все равно составляет десятки процентов.

Если оценивать результаты проекта в целом от старта, то произошло увеличение конверсии по действующим клиентам в шесть раз, по потенциальным клиентам – в четыре раза. Средний чек на клиента вырос на 15%, а срок жизни клиента увеличился на шесть месяцев.

- В каком направлении будет развиваться проект?

Сейчас мы активно смотрим в сторону анализа диалогов и внедрения алгоритмов аналитики речи. Мы планируем подключать искусственный интеллект в процессе диалога с клиентами для выявления потребностей и перерасчета рекомендательной модели в процессе диалога. Также мы планируем использовать генеративные сети для составления писем и диалогов операторов, и тестируем возможности применения роботов и голосовых ботов.

Мы уже протестировали некоторые гипотезы. Наши пилотные проекты показывают, что голосовые боты способны обеспечить более высокую конверсию за счет более четкого следования сценарию и отсутствия человеческого фактора. Также по процессам обслуживания видим, что диалог с ботом клиенты оценивают существенно выше, чем с человеком.

Трансформация инфраструктуры данных стала для сети «Бургер Кинг» стратегическим вектором развития, открывающим дорогу к принятию решений на основе данных. Переход на Arenadata DB в облаке VK Cloud позволил оптимизировать работу бизнес-систем и сделал возможными решение многих аналитических задач. О реализации проекта и его первых результатах рассказывает Александр Кулиев, директор офиса по данным «Бургер Кинг» и номинант на премию Data Award.

- Что привело «Бургер Кинг» к реализации проекта перестройки инфраструктуры данных?

В 2022 году инфраструктура для работы с данными в «Бургер Кинг» состояла из большого количества разрозненных источников данных и BI-системы, которая, помимо задач визуализации и формирования отчетов, иногда выполняла функции обработки и хранения данных. При этом в компании не было общей методологии сбора, обработки и хранения данных. Данные хранились в разных местах, а их выгрузка для формирования отчетности зачастую занимала много времени и могла негативно сказываться на производительности бизнес-систем.

Перед дата-командой «Бургер Кинг» встала задача – спроектировать и запустить централизованное корпоративное хранилище данных (DWH), которое должно решить существующие на тот момент проблемы и обеспечить потенциал для дальнейшего развития собственной платформы данных и data-driven подхода в целом.

- Какой подход был выбран?

В качестве основного решения для запуска DWH была выбрана Arenadata DB – СУБД на основе Greenplum. Однако ситуацию осложняло то, что у нас не хватало необходимых компетенций для реализации данных задач. При этом хранилище предстояло строить «с нуля», да еще и переводить в новое решение более 800 существующих приложений и множество источников данных. Это повлекло за собой некоторые трудности на старте проекта.

Помимо дефицита компетенций и ресурсов для самостоятельного развертывания, настройки и администрирования платформы, не было возможности расширить текущую локальную инфраструктуру. При этом существующих ресурсов не хватало, чтобы удовлетворить растущие потребности.

Именно поэтому мы изначально рассматривали только облачное решение. В качестве партнера по инфраструктуре выбрали VK Cloud, так как на платформе были все необходимые инструменты для построения и развития решения, в том числе ADB как Managed-решение.

- Что еще было сделано в рамках проекта?

Запуск ADB в облаке значительно сократил время и трудозатраты на запуск решения, и команда смогла сосредоточиться на методологической части и бизнес-логике работы хранилища. Команда провела рефакторинг текущих процессов, чтобы обеспечить плавный переход компании на новые рельсы. Была проведена структуризация данных, сформулирована единая методология работы с данными, объединены справочники и собраны требования со всех контрагентов в компании.

В первую очередь новый подход был применен к самым критичным для отчетности показателям, среди которых выручка, дополнительные доходы от программ лояльности, себестоимость продукции и так далее. Следующим этапом являлось развитие текущей концепции – например, предоставление полной клиентской информации внутренним предиктивным системам для прогнозирования выручки, повышения маржинальности и так далее.

- Какие еще решения использовались при построении платформы?

Помимо хранилища данных Arenadata DB в облаке VK Cloud, в качестве витрины данных используется ClickHouse.

- Какие трудности возникали в ходе проекта? Как их решали?

Само по себе отсутствие единого подхода влечет за собой ряд проблем, не только технических, но и процессуальных. В частности, высок риск создания «бутылочных горлышек». Когда данные и аналитические инструменты не интегрированы, процесс принятия решений становится затруднительным и медленным. Решения зависят от ограниченного числа людей, что увеличивает риск создания узких мест в процессах. Чтобы решить эту проблему, на первом этапе проекта мы проработали единую методологию сбора, обработки и хранения данных, и только после этого начали перенос источников данных на новое технологическое решение.

Еще один важный момент – это соответствие нормативным требованиям. Неоднородные данные и процессы затрудняют контроль за соответствием законодательству и стандартам, особенно в отношении защиты данных и конфиденциальности. В нашем случае этот вопрос удалось стандартизировать и упростить путем проработки единой методологии и переносом данных в облако VK Cloud, которое соответствует 152-ФЗ и размещено в ЦОДах Tier III.

Любой проект трансформации предполагает изменение культуры работы и сталкивается с проблемами недостаточного вовлечения и мотивации сотрудников. Отсутствие культуры, ориентированной на данные, может снизить мотивацию сотрудников к поиску новых идей и улучшению процессов на основе аналитики. Поэтому стоит понимать, что внедрение новых подходов по работе с данными – это важный и непрерывный процесс, по пути которого мы следуем.

Работа по этим направлениям и переход к единому data-driven подходу позволило нам улучшить процессы принятия решений, повысить эффективность и открыть новые возможности для роста и инноваций.

- Каких результатов уже достигли?

После запуска хранилища данных удалось значительно ускорить в ресторанах WFM-систему, которая прогнозирует оптимальное количество сотрудников ресторана на смене. Время просчета оптимального количества сотрудников сократилось радикально – с двух недель до трех часов. Помимо этого, система помогает грамотно сформировать запасы на складах ресторанов.

Также запуск DWH позволил оптимизировать рекомендательные системы для гостей ресторанов, которые рекомендуют клиентам наиболее релевантные позиции в соответствии с их профилем потребления,

Один из самых заметных финансовых эффектов от внедрения достигнут за счет того, что компании удалось убрать нагрузку по обработке данных с систем-источников. Это обеспечило большую производительность, отказоустойчивость и непрерывность бизнес-процессов. Раньше, чтобы получить отчетность по некоторым категориям, приходилось ограничивать доступ к BI на время формирования отчета. Это было весьма критично, с учетом того, что на подобные операции могло уходить до нескольких дней. Теперь система доступна для внутренних пользователей всегда, при этом удалось значительно сократить время получения отчетности.

- Повлияло ли повышение доступности аналитической системы на восприятие аналитики (и работы с данными в целом) пользователями?

С начала 2024 года, сразу после запуска, наш проект уже заметно отразился на бизнес-показателях компании. Мы добились роста эффективности CRM на 3% благодаря персонализации и повышения эффективности бизнес-процессов, а в ресторанной части – на 5%. Это вполне конкретный, понятный бизнесу эффект. Поэтому краткий ответ – да, повлияло.

Однако как я говорил ранее, изменение культуры – это не разовая акция, а постоянный процесс, к которому мы последовательно движемся.

- В чем роль проекта для бизнеса компании?

Роль проекта трансформации инфраструктуры корпоративных данных для компании «Бургер Кинг» – стратегическая. Это значимый этап на пути развития компании, который открывает дорогу к принятию решений на основе данных, а также имеет большое влияние на эффективность бизнеса.

Проект также позволил заложить фундамент к новым концепциям и инструментам, таким как озеро данных и использование централизованных технологий применения машинного обучения.

- Каковы пути дальнейшего развития проекта?

Реализация облачного DWH и переход на «новые рельсы» позволили заложить фундамент для внедрения новых инструментов. Мы уже сейчас видим огромный потенциал для повышения прибыльности за счет data-driven подхода и планируем развиваться в этом направлении. Следующие шаги – построение озера данных объемом более 500 Тбайт для хранения и обработки сырых и неструктурированных данных, организации песочниц для проведения экспериментов и тестирования бизнес-гипотез, а также для развития и автоматизации проектов Data Science. Параллельно ведутся работы по развертыванию единой ML-платформы для разработки и инференса моделей машинного обучения, а также создания промышленных процессов применения искусственного интеллекта.