Статьи

Опорной точкой при реализации любых цифровых инициатив являются данные. Практически все компании осознают это — не случайно проекты, направленные на управление данными, становятся все более распространенными, особенно в крупных организациях.

Ситуация существенно усложняется, когда речь идет о компаниях, в процессе своего развития столкнувшихся с поглощениями других бизнесов. Инвестировать огромные средства в унификацию унаследованного ИТ-ландшафта готовы далеко не все. Однако проблема с данными в этих условиях становится вдвойне критичной, и решать ее необходимо.

Как управлять данными такого гиганта, как ВТБ? Светлана Бова, CDO (Chief Data Officer), управляющий директор — вице-президент банка ВТБ и номинант на премию CDO Award 2020, рассказывает об используемых подходах и первых результатах.

— В чем суть реализуемого ВТБ проекта?

В конце прошлого года в рамках программы трансформации ВТБ мы запустили инициативу по управлению данными. В ходе ее проработки и конкретизации идей, которые мы собираемся реализовывать, были обозначены три направления работ. Первым из них стало внедрение функции Data Governance, вторым — построение архитектуры для работы с большими данными. Третье направление — это модернизация платформы данных, рефакторинг хранилищ, которые мы исторически унаследовали при слиянии ВТБ с Банком Москвы и ВТБ24, и создание целевого единого хранилища данных. Эта программа рассчитана на три года.

Суть направления Data Governance заключается в разработке стратегии управления данными и внедрении функционально-ролевой модели участников процесса управления данными. В мировой терминологии такой подход известен как data stewardship — парадигма концепции владения данными: каждое подразделение обладает ответственностью за определенную область данных, а потребители могут запрашивать данные и выставлять свои требования к ним — к их качеству, доступности, актуальности, скорости доставки.

— Каковы первые шаги?

Мы начинаем с фундамента: выстраиваем бизнес-глоссарий — репозиторий терминов, которыми банк оперирует в своей деятельности. По предварительным расчетам, уникальных терминов в банке больше 12 тысяч. При таком объеме сделать даже «перепись населения» — довольно трудоемкая задача. А вести вручную и поддерживать в актуальном состоянии весь список терминов практически невозможно. Поэтому мы инициировали проект по внедрению специализированного промышленного решения Data Governance на базе решения Informatica Axon. В рамках проекта за семь месяцев было развернуто три модуля, первым из которых и стал бизнес-глоссарий. Сейчас производится его поэтапное заполнение: на данный момент в нем около 800 терминов, в дальнейшем планируем добавлять по 1,5–2 тыс. атрибутов в год. Это достаточно трудоемкий процесс: мало найти термин и нормативную базу — важно согласовать его между подразделениями, обеспечить его одинаковое понимание и единообразное описание.

Бизнес-глоссарий по сути стал «навигатором по данным». Пользователь, осуществляя поиск термина в бизнес-глоссарии, получает четкий маршрут и ответы на вопросы:

• Что означает запрашиваемый термин?
• Кто за него отвечает, являясь владельцем данного атрибута?
• В каких ИТ-системах атрибут встречается в ландшафте банка?
• Какие требования к его качеству выставляются и какие проверки качества данных для него существуют?

Также отдельным компонентом является Enterprise Data Catalog, позволяющий осуществлять связь между бизнес-термином и его физическим расположением в ИТ-системах с визуализацией потоков данных между ИТ-системами. Данный инструмент крайне полезен для ускорения производственного цикла разработки прикладного ПО, а также для обучения новых специалистов при погружении в специфику ИТ-ландшафта.

Третий важный модуль касается мониторинга качества данных. Мы ввели специальные метрики и с их помощью начали качественно замерять уровень «здоровья данных». Уже в текущем году приступили к разработке системы мотивации и KPI по качеству данных.

— Почему в банке решили заняться вопросами управления данными? Что не устраивало в существующей ситуации?

После объединения банков подверглись слиянию ИТ-ландшафты, нормативные базы и процессы, поэтому возникла необходимость систематизировать знания о данных, поскольку поиск информации занимал довольно много времени. Кроме того, очень длительным было, например, согласование несколькими подразделениями одного и того же показателя, получаемого из различных витрин и отчетов разных хранилищ данных. Хотелось значительно сократить сроки получения аналитики и выверки отчетности.

За долгие годы во всех банках, вошедших в состав обновленного ВТБ, было реализовано множество разрозненных аналитических проектов. В итоге появились различные витрины данных для расчета одних и тех же показателей в интересах разных подразделений. Подобное дублирование информации в масштабах банка обходилось дорого. И чем больше систем появлялось, тем больше затрат требовалось на их поддержку.

Кроме всего прочего, колоссальное время занимал анализ причинно-следственных связей при разборе инцидентов с данными. Исходя из своего предыдущего опыта, могу с уверенностью сказать, что при наличии Data Governance и автоматического выполнения data lineage (визуализации потоков данных между системами с шагами преобразований данных) затраты на анализ инцидентов с данными сокращаются на 40%. Примерно на столько же сокращается фаза анализа в проектах реализации нового функционала информационных систем — просто за счет наличия актуальной карты потоков данных.

— Этот проект не только технологический — у него достаточно сложная организационная составляющая. Масштаб предполагаемых изменений очень велик. Как заставить меняться такого тяжеловеса?

Как известно, слона рекомендуется есть по частям. Можно выделить несколько шагов. Во-первых, был создан коллегиальный орган с делегированием в него представителей высокого уровня от каждой вертикали для погружения в тематику и совместной проработки целей и задач, а также для расчета бизнес-эффекта проекта. Особое внимание мы уделили формированию перечня конкретных локальных проблем каждого подразделения, связанных с данными, которые используются в его работе. Люди должны были почувствовать практическую ценность от внедрения инициативы по управлению данными. Был составлен список практических кейсов, касающихся качества данных, их доставки, унификации терминологии показателей отчетности. Мы ранжировали эти задачи и выбрали для первого внедрения в рамках бизнес-глоссария три кейса от различных подразделений.

Затем перешли к изменениям в процессной части, так как мало провести разовую инвентаризацию актива — крайне необходимо вплести практики управления данными в процессы изменений продуктов, процессов, ИТ-ландшафта банка. Нам предстоит внести изменения в модель производства ИТ-решений, реализовать порядок взаимодействия подразделений при анализе и решении инцидентов качества данных.

И наконец, еще одна важная миссия, которая должна быть в центре внимания любого CDO, — просвещение. В разных подразделениях разный уровень компетенций, да и необходимость в новых знаниях не всегда бывает очевидной. Так как тема новая и вообще концепция Data Governance еще не сильно распространена в России, мы сделали очень неплохой курс очного и дистанционного обучения. Теперь каждый сотрудник может повысить свой уровень компетенций в области управления данными.

Также мы наладили выпуск регулярного внутреннего новостного дайджеста «Всё о данных», где публикуем интересные факты из мировой практики в области работы с данными, а также информацию о внутрибанковских проектах, касающихся работы по гармонизации данных. Так мы вносим свой вклад в формирование культуры и распространение знаний об управлении данными.

— С какими проблемами пришлось столкнуться при реализации проекта? И каких было больше — организационных или технологических?

Конечно же, организационных проблем было больше. С технологиями всегда проще.

Уровень зрелости в подразделениях изначально был различным, и это осложнило ход реализации проекта, ведь программу вовлечения участников пришлось дифференцировать. Размер организации подразумевает наличие большого количества звеньев в принятии решений и при трансляции информации, что достаточно существенно влияет на сроки выполнения этапов внедрения инициативы по управлению данными.

Культура у подразделений тоже разная. Различна и готовность к изменениям: есть весьма консервативные блоки, а есть очень адаптивные и инициативные. В результате динамика работ по идентификации атрибутов, унификации терминов, запуску системных процедур повышения качества данных была практически индивидуальной для каждого владельца данных.

Технологические проблемы связаны в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Так как внедряемая система управления данными предполагает связь с системами аналитического контура, то основные технические трудности были как раз на уровне интеграции.

— Data Governance — это сложно и наукоемко. Можно ли изложить стратегию управления данными в нескольких фразах, понятных обычному потребителю?

Понятие Data Governance, пришедшее из зарубежных практик, действительно имеет достаточно много сложных и весьма витиеватых интерпретаций. В рамках нашей организации принята следующая терминология: управление данными — комплекс организационных и технических мероприятий, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного стратегического актива.

С практической точки зрения можно выделить несколько ключевых моментов.

У каждого класса данных должен быть владелец данных, ответственный за их качество, методологию расчета и поддержание в актуальном состоянии карт потоков данных в ИТ-ландшафте.

Внедрение «навигатора по данным» в формате специализированного решения — бизнес-глоссария — позволит значительно сократить время на поиск данных.

Существенная модернизация систем аналитического контура — хранилищ данных и комплекса инструментов по работе с большими данными, инструментов BI self-service analytics — призвана обеспечить высокую доступность оперативных и достоверных данных для бизнеса. Наконец, важно наращивать компетенции в бизнес-подразделениях по управлению данными и по работе с большими данными посредством специализированных образовательных программ для сотрудников и участия в практических проектах.

— Что собой представляет созданная инфраструктура для работы с данными?

Что касается инструментов для управления данными, мы выбрали Informatica Axon для ведения бизнес-глоссария и Informatica Enterprise Data Catalog (EDC) для отрисовки карты потоков данных. Одна из технологических сложностей работы EDC заключается в том, что далеко не для каждой системы, особенно сильно кастомизированной, решение способно в автоматическом режиме выстроить карту потоков данных. Для этого при написании процедур ETL необходимо следовать определенным стандартам кодирования.

Что касается моделирования и работы с данными, у нас есть определенное количество унаследованных хранилищ, существует стек для аналитики больших данных на Cloudera Hadoop, а также большой парк различных аналитических библиотек — мы опробовали практически все, что есть на рынке, и часть из них внедрили в свою работу.

— У вас используется смесь открытых и проприетарных решений. Есть ли политика в этой области?

У нас гибридный подход. По ряду направлений мы не можем и не будем использовать открытые платформы. Банк должен гарантировать максимальную стабильность работы своих систем. Мы не можем полностью перейти на open source. Но в отдельных случаях это вполне оправданно, и у нас проприетарные и открытые сегменты даже несколько разделены в ландшафте. Наша команда big data, работающая с открытыми решениями, выделена в инфраструктуре со своим стеком решений.

Дешевизна открытых платформ — в некоторой степени иллюзия. Для банка критически важны наличие поддержки, ее стабильность и четко определенное соглашение об уровне услуг. Open source с такими условиями становится вовсе не бесплатным.

— Говоря о целевой архитектуре, вы упомянули хранилище, но ничего не сказали об озере.

Мы оперируем понятием «платформа данных», которое включает в себя и ODS (оперативное хранилище данных), и реляционное целевое единое хранилище, BI-приложения и различные инструменты для работы с большими данными, что, собственно, в общеизвестной практике и называют «озером данных».

— Чего вы уже добились и чего ожидаете добиться в обозримом будущем?

Мы вывели систему управления данными в промышленную эксплуатацию, к ней имеют доступ все сотрудники банка. Очень многих удалось обучить, и они начали пользоваться системой. Это серьезное достижение.

В дальнейшем будем масштабировать и наполнять бизнес-глоссарий, закреплять ответственных за каждый атрибут. Проверка качества данных будет поставлена на конвейер.

Задача на будущее — масштабирование созданных решений и методологических практик на уровень группы ВТБ.

— Создание платформы управления данными должно окупиться? Или такая задача не ставится?

Да, эта платформа должна окупиться. Бизнес-кейс построен на оптимизации процессов анализа и разработки, разбора инцидентов, на сокращении времени на сверку данных. И не надо забывать об инфраструктурной составляющей: в рамках большого проекта по модернизации платформы данных мы все-таки переносим ее часть на open source, снижая стоимость хранения и обработки.

— Готов ли бизнес к тому, чтобы стать data-driven?

Следует разделить такую «готовность» на желание и способность к реальному действию. Желание есть, и осознание того, что изменения в этом направлении жизненно необходимы, тоже есть. Стоит отметить, что в «Стратегии банка — 2022» выделен отдельный блок, посвященный непосредственно работе с данными. А осознание необходимости изменений сотрудниками, которые участвуют в рутинных ежедневных операциях, и осуществление этих изменений — процесс, к сожалению, небыстрый и зачастую болезненный.

— Какие мероприятия по изменению культуры вы проводите?

Безусловно, одно из самых важных — это трансляция ценностей на уровне правления, топ-менеджмента. На операционном уровне — образовательные бизнес-завтраки и курсы обучения.

Очень эффективный подход — персональные истории успеха. Мы выпускаем новостной дайджест, где красочно освещаются назначения владельцев данных и первые результаты их работы. Очень важна персонализация — с фотографиями и описанием заслуг. Это хорошо работает и на мотивацию, и на культуру.

Но лучше всего, когда люди начинают понимать, что ведется реальная работа для решения их проблем, когда видят действительную пользу от работы владельцев данных, менеджеров по качеству данных и офиса CDO. Надо признать, что нам предстоит еще долгий путь.

— Какие стратегические проекты, основанные на данных, являются знаковыми для ВТБ?

В 2019 году банк запустил несколько крупных партнерских проектов с использованием данных.

Так, создается совместное с «Ростелекомом» предприятие, направленное на работу с пользовательскими данными. Его задачами станут создание продуктов и оказание услуг на основе анализа больших данных, в том числе с применением технологии искусственного интеллекта. «Жилищная экосистема ВТБ» — знаковый проект, совместивший все виды услуг и сервисов по приобретению, аренде и дальнейшему обустройству жилья для граждан. Отдельно следует упомянуть «Лайфстайл платформу», объединяющую различные сервисы: вызов такси, доставку еды, бронирование ресторанов, покупку билетов и т. д.

Все более ценным становится подход, когда банк выходит из контура привычных задач и использует данные для разработки различных сервисов в партнерстве с компаниями из смежных сфер, обеспечивая удобство для клиентов и расширяя свою клиентскую базу. Это наши стратегические проекты.

Одной из болевых точек сферы информационной безопасности является разрозненность специализированных инструментов. Им не хватает связности, позволяющей объединить получаемую информацию и обеспечить ее эффективное использование. В компании «Энджиар Софтлаб» — стартапе, занимающемся разработкой программных продуктов, создали решение Dataplan, способное значительно усилить базовый функционал решений по информационной безопасности и других информационных систем. С его помощью получается выявлять аномалии в данных и предоставлять доказательную базу при проведении расследований. Айк Татевосян, руководитель отдела аналитических систем «Энджиар Софтлаб» и претендент на премию CDO Award 2020, рассказывает о предпосылках и истории создания этого решения.

- Что наблюдается на рынке систем информационной безопасности, почему пришли к желанию разработать решение?

В любой крупной компании используется огромное количество разрозненных ИБ-решений: сетевые экраны, антивирусы, решения для предотвращения утечек (DLP), системы управления событиями информационной безопасности (SIEM) – каждая со своими результатами работы. В комплексе этих данных сложно найти какую-то закономерность и понять, что из них является инцидентом, где именно произошло нарушение.

Часто единым центром компетенций и обработки информации выступали SIEM. Но у них есть свои недостатки – например, они работают в рамках одного оперативного дня, и из-за этого для них характерно отсутствие причинно-следственной связи между событиями и возможности ретроспективного анализа. Решение инцидентов напоминает латание дыр без устранения причин их появления.

Мы считаем, что правильным и полезным является объединение нескольких источников данных: ИБ-решений и других компонентов ИТ-инфраструктуры: операционных систем, систем хранения данных, баз данных и т.д. Для решения этой задачи мы попытались собрать необходимый технологический стек, чтобы выявлять аномалии в данных, которые невозможно описать условными правилами. Когда мы подбирались к решению этой задачи, то поняли, что любая аналитика должна основываться на каких-то сущностях. Для нас такой сущностью стал пользователь, совершающий действия, поэтому целью стало построение профилей поведения пользователей.

- Что в самых общих чертах представляет собой продукт?

Dataplan – это аналитическая платформа для работы с большими данными и с возможностью применения машинного обучения. Ее первой практической областью применения стала сфера безопасности, где она позволяет сократить время работы аналитиков на принятие решений. Время реакции в ИБ – самый дорогой ресурс, а сокращение времени реакции на инциденты – это сохранение репутации и денег.

- Таких решений нет на рынке? Неужели никто до этого не додумался?

На зарубежном рынке есть решения класса User Behavior Analytics (UBA), позволяющие проводить поведенческий анализ деятельности пользователей. UBA-решения иностранных вендоров, представленные в России, имеют довольно высокую ценовую планку. Поскольку российский рынок ИБ невелик, то вложить несколько миллионов долларов в решения, эффект от которых не всегда ощутим, мало кто готов – такие инвестиции очень трудно обосновать.

Среди отечественных решений аналогов практически нет, но есть довольно много стартапов, пытающихся работать в этом направлении, и мало компаний, которые уже что-то разработали. Кроме того, часто у заказчиков работают собственные команды data science, но речь идет о разовых проектах, и цель по созданию законченных решений им не ставится.

Есть DLP-системы, в которых заявлено машинное обучение, но оно замкнуто в рамках конкретного решения. Мы пытаемся строить универсальный продукт, который можно подключать к неограниченному числу систем и не замыкаться в рамках одной платформы. Наша цель состоит в том, чтобы анализ был основан на действиях пользователя и на дополнительных факторах: его должности, подразделении, рабочей станции, приложениях, в которых он работает. После комплексной интегральной оценки можно более уверенно выявить пользователей, чье поведения является аномальным и, возможно, требующим проведения расследований.

- Что стало отправной точкой для создания системы?

История началась с того, что у одного из крупных заказчиков приобретенная зарубежная платформа «не взлетела». Ее долго настраивали, обновляли, потратили на это массу средств, но ситуация была далека от идеала.

Интегратор хотел закрыть работы и предоставить заказчику обещанный результат и доверил нам доработку решения. Тогда у нас и получился свой расширенный UBA, позволивший «приземлить» платформу и удовлетворить потребности заказчика. Клиент остался доволен, но надо понимать, что это были «костыли» — полученное решение не выглядело как конечный продукт, хотя и решало проблемы.

После решения этой задачи у нас сформировался определенный технологический стек, а также понимание сценариев, которые возможно реализовать с помощью полученной платформы. Мы увидели в созданном продукте самостоятельную ценность. Сейчас мы его завертываем в красивую обертку и делаем тиражируемым.

- Что представляет собой созданное решение с технической точки зрения?

На текущий момент архитектура решения достаточно сложная, в связи с чем мы разделяем ее на четыре основных компонента.

Первый (Dataplan Processing) является компонентом, отвечающим за сбор, фильтрацию, агрегацию и нормализацию событий. С его помощью данные приводятся к единому формату для создания витрин данных, с которыми можно вести аналитическую работу.

Второй (Dataplan Storage) отвечает за высокоэффективное распределенное хранение данных, предназначенное для онлайн обработки аналитических запросов (OLAP). Речь идет о больших данных, порядок которых при пиковой нагрузке достигает 100 тыс. событий в секунду, поступающих в среднем на боевые инсталляции системы. Вопрос архитектуры обсуждается с заказчиком и отчасти зависит от его потребностей.

Третий компонент – аналитика (Dataplan Analytics). Машинное обучение реализовано на скриптах языка Python.

Наконец, созданные модели отображаются с помощью компонента Dataplan Visualization, представляющего собой BI-инструментарий. Это рабочее место специалиста, которое является инструментом поддержки принятия решений и реализует визуализацию ключевых метрик и показателей результатов аналитики.

- На каких компонентах построена система?

Практически все инструменты, которые брались за основу, являются open source. Во-первых, в ходе создания решения решалась вполне конкретная задача, требовалось сделать «дешево и сердито». Во-вторых, в область открытых решений сейчас смещается политика очень многих компаний.

- Какую роль вы выполняете в компании?

В рамках компании выступаю в роли владельца продукта Dataplan. Являюсь евангелистом использования больших данных в общении с заказчиками, выявляю кейсы и продумываю их решение.

Мой типичный рабочий день – выезд к заказчику, проведение пресейлов и презентаций, выявление потребностей, попытка интерпретации бизнес-задач в технические задачи, оценка сроков, а также координация работы моей команды, донесение до неё новых планов по развитию продукта и отзывов о результатах командной работы.

Главный KPI, за который мне приходится отвечать перед руководством – удовлетворенность заказчика решением.

- Потребность в подобных решениях высока?

Конечно же, мы оценивали потребности рынка, собирали пожелания других заказчиков. Одна из них – автоматизация работы аналитиков, работающих с системами безопасности. Им важно понимать причинно-следственные связи, выявлять сложные сценарии атак. Например, вирусное заражение, которое антивирус может обнаруживать изо дня в день, каждый раз успешно его зачищая. Но сама проблема находится в автозагрузке, которая его порождает. Классические системы работают в реальном времени, им катастрофически не хватает ретроспективной аналитики, в том числе встроенных алгоритмов машинного обучения.

Изучив потребности потенциальных заказчиков, мы поняли, что задачи в области ИБ принципиально ничем не отличаются от бизнес-задач, часто стоящих перед компаниями. Случалось, и так, что мы предлагали решение офицерам информационной безопасности, а те приглашали руководителей проектов и бизнес-аналитиков и демонстрировали им возможности платформы. Поэтому мы уже перепозиционировали решение с первоначального UBA на xBA, где x – классическая неизвестная из математики, поскольку нам не важно, какая именно сущность будет подаваться на вход системы.

- Готовы ли компании тратить деньги на это?

Компании понимают, что в центре всего стоит человек, и именно поэтому тема поведенческой аналитики в ИБ начала так хорошо «заходить». Именно действия сотрудников – преднамеренные или нет – наносят наибольший ущерб, и это факт.

Так, например, наш продут помог сети московских кафе выявить сотрудников, причастных к махинациям с картами лояльности, когда при оплате счета наличными часть суммы оплачивалась баллами с карты лояльности сотрудника, а экономия уходила в карман недобросовестных сотрудников кафе.

Компаниям нужны системы поддержки принятия решений. Дефицит квалифицированных кадров – проблема, но еще хуже, что у имеющихся специалистов нет инструментов для анализа данных, упрощения и ускорения своей работы и обоснования своих действий. У компаний накопились данные за длительное время, и они хотят извлекать из них пользу.

- С какими проблемами пришлось столкнуться? Обычно это данные…

Да, качественные и хорошо подготовленные данные – мечта любого дата-сайентиста, позволяющая избавиться от рутины и заняться творчеством. Общая проблема заключается в том, что когда компания занимается сбором данных, то далеко не всегда понимает, зачем. Как следствие, данные хранятся обрывочно, они далеко не полные, и их нормализация может занимать много времени. Даже если мы видим, как задачу можно решить, часто оказывается, что нужных данных просто нет. Мы предлагаем включить сбор данных из необходимых источников хотя бы на пару месяцев и возвращаемся, когда нам есть с чем работать.

Кроме того, в сфере ИБ так повелось, что люди изначально не слишком доверяют и друг другу, и новым решениям. Часто заказчики предлагают нам пробные задания, не описывая конкретной задачи. Например, речь может идти о поиске в предоставленных данных каких-либо аномалий. Если наши выводы подтверждают имеющиеся факты, компания идет на диалог.

- То есть речь идет об обучении без учителя?

Нынешняя ситуация в нашей сфере – любые алгоритмы машинного обучения изначально должны обучаться без учителя и показать какой-то результат. Когда к заказчикам приходят с терминами big data, machine learning и обещают показать новые знания, естественным желанием является их проверить. К математическим «фокусам» привыкли относиться с недоверием.

Но дело не только в недоверии, но и в том, что компании сами понимают, что могут не обо всем знать. Парадигма остается прежней: специалист должен быть экспертом в области безопасности, глубоко понимать процессы, чтобы уметь интерпретировать имеющиеся данные. Однако от этой парадигмы мы отходим и пытаемся показать, что алгоритмы машинного обучения сами могут «подсветить» любые аномалии, а задача человека – дать заключение по ним. Чем больше человек будет работать в системе и принимать решения в ней, тем «умнее» будут становиться модели, обучаясь на действиях пользователя.

- Каких результатов позволяет добиться решение?

По внешним угрозам – выявление компрометации учетных записей и активов, утечек критичных данных и эксплуатации уязвимостей. По внутренним угрозам – злоупотребление выданными правами, инсайдерская деятельность, несоответствие используемых учетных записей. Однако эти эффекты могут видоизменяться в зависимости от специфики заказчика и его процессов. В одном из госучреждений в ходе пилотного проекта удалось выявить пользователей с аномальными правами доступа в результате их перемещений между подразделениями и рекурсивные вирусные заражения, когда из-за одного компьютера заражался весь сегмент сети.

Что касается ускорения работы аналитиков, то тут эффекты слишком индивидуальны. Зачастую речь идет о том, что некоторые из действий становятся принципиально возможными. В одном из крупных ретейлеров в день создавалось по 10 тыс. инцидентов безопасности по каждому из сценариев, и таких сценариев были сотни. Фактически речь шла о ручной обработке этих событий, что невозможно. Мы автоматизировали процесс проверки этих инцидентов.

Пробиваясь к заказчикам со своими пилотами, мы показали коммерческую ценность своих решений. У нас есть 20 клиентов, довольных проведенными пилотными проектами, пятеро из них уже готовы начать полноценное внедрение. В 2020 году начнется активное масштабирование наших решений. Про какие-либо конкретные цифры можно будет говорить позже.

- А в реальном времени какие-то задачи решаются?

У нас были пилоты, в которых это требовалось. Но мы совершенно точно не считаем это своей главной задачей. Ретроспективный анализ приносит больше пользы и имеет гораздо больший «вау-эффект» для заказчиков. И что немаловажно, эта ниша на рынке сейчас гораздо свободнее.

- В каком направлении будет развиваться платформа Dataplan?

Направлений для развития возможностей платформы очень много, на текущий момент мы активно прорабатываем функциональный модуль, основанный на прогнозном мониторинге (predictive monitoring).

Также есть исследовательские работы и попытки выход за пределы ИБ. Одна из ближайших перспектив – HR как наиболее понятная и близкая нам тема, в разрезе задачи по оценке персонала. Если подойти к своим специалистам с популярной оценкой «360 градусов», которую применяют к клиентам, можно получить массу полезных результатов. Например, оцифровывая входящих кандидатов и понимая, что собой представляет коллектив, получится подбирать более сплоченную команду.

В 2018 году компания «Северсталь» создала платформу Промышленного интернета вещей (IIoT) и на ее основе начала работы по оптимизации производственных процессов. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital, уже рассказывал о построенной в «Северстали» платформе IIoT и ее задачах. Тогда мы беседовали с ним, анонсируя его выступление в рамках форума «Управление данными — 2019» .

Сегодня мы представляем Доната Фетисова как номинанта на премию CDO Award 2020, и речь пойдет в большей степени о достигнутых результатах и культурных изменениях, происходящих в компании.

— Чем металлурги могут выделиться среди конкурентов? При чем тут данные и как «Северсталь» себя видит в работе на этом направлении?

Начать нужно с того, что главная задача «Северстали» — рост эффективности: стремление иметь не максимальный оборот, а как можно больший показатель EBITDA. Поэтому одним из направлений происходящей сейчас трансформации является активное создание цифровых продуктов, использование данных и алгоритмов машинного обучения. И об этом мы регулярно говорим на встречах с инвесторами. Максимальное использование всех возможностей применения искусственного интеллекта как альтернативы «человеческим» решениям — вот что позволит нам выделиться. Да, для этого необходимы данные, много данных, и мы делаем все, для того чтобы получить как можно больше информации о производственных процессах, причем детальной.

Несколько лет назад мы определились со стратегией развития: выбираем направления, где с помощью технологий можем повысить эффективность процессов. И мы по-прежнему ее придерживаемся. И сейчас видим, что не только внедрение прорывных методов в производство и перестраивание взаимодействия с клиентом может дать результат. Мы можем улучшить показатели на несколько процентов за счет использования нестандартных (пока что) для металлургии средств оптимизации.

— Существует ли специфическая цифровая культура? Что в компании нужно менять и что делаете вы?

Да, культура существует, иначе бы о ней столько не говорили. Наши же действия можно уложить в три пункта.

Сбережение данных — это обязательное, «гигиеническое» правило, которое мы пытаемся продвигать повсеместно. Это не менее важно, чем бережное отношение к электричеству или воде. Мы стараемся сохранять данные, особенно возникающие в производстве на нижнем уровне – сенсоры сами по себе информацию не накопят. А ведь именно здесь зачастую случаются самые интересные открытия. Тщательно собирая данные, мы закладываем фундамент для новых знаний. Может показаться смешным, но даже сам факт признания этого — серьезный сдвиг в мировоззрении людей. Многие относятся спокойно к потере потенциально полезных данных — надеются, что в работе им помогут данные более высокого уровня, однако их не хватает для выявления закономерностей в самом производстве.

Второе направление усилий — повышение общего уровня понимания того, как строится работа с информацией. Именно это позволяет сблизить дата-сайентистов с бизнес-заказчиками и сильно ускоряет процесс, поскольку преодолевается разрыв между ними. Мы создаем внутренние курсы по работе с данными. Например, сотрудник может на примере производства, на котором он работает, понять, что такое потоки данных, какие можно использовать технологии. Осознав это, люди начинают говорить с нами на одном языке, и это формирует здоровую атмосферу для реализации проектов.

Наконец, мы пытаемся вовлекать сотрудников в работу по схеме самообслуживания. Разумеется, многие бизнес-пользователи хотели бы, чтобы им продолжали выгружать данные в привычный Excel. Но поскольку речь идет о больших данных, это, конечно, невозможно. Поэтому мы их обучаем работать именно с данными из «озера». Чтобы они могли их использовать: кто-то через Power BI, кто-то через веб-интерфейс Hadoop.

Эти три шага — важные моменты в продвижении культуры data-driven.

— Но ведь для вовлеченности пользователей мало дать им данные — важно, чтобы они захотели работать по-новому.

В своих проектах мы показываем, как это можно делать. Кроме того, в рамках обучения Data Governance мы займемся описанием данных и сейчас выбираем инструмент для создания каталога данных. Люди не только узнают, что можно делать с данными, но и будут иметь своеобразную «Википедию» по ним. Любые имеющиеся в компании данные должны быть доступны пользователям.

— Как вы пришли к проекту Data Governance?

Все организации проходят определенные стадии зрелости. Первая из них — когда приходит понимание того, что данные нужно централизованно собирать. На этом этапе как раз начинают создавать озеро данных. В этот момент в компании появляется узкая группа специалистов, умеющих это делать, и они жаждут «поиграться» с этими инструментами. Такая ситуация может существовать довольно длительное время. Но рано или поздно все начинают осознавать, что не должен управлять данными лишь этот небольшой коллектив — нужно вовлекать гораздо больше людей. Для реализации полноценного Data Governance необходимо, чтобы владельцы данных участвовали в процессе описания данных и их идентификации. Мы формируем каталог данных, определяем владельцев каждого домена данных и в конечном итоге хотим прийти к ситуации, когда точно известно, какая информация есть в организации, и понятно, с кем можно обсудить объекты и связанные с ними данные.

Нужно не просто научить людей работать с данными и дать им инструменты. Требуется вовлечь их в процесс «культивации» данных — следить за их качеством, доступностью и т. п. Это очень непросто делать, пока люди не воспринимают данные как актив.

— Какие проекты уже удалось реализовать на базе созданной платформы Интернета вещей? За счет чего достигается монетизация?

Финансовые эффекты проявились уже в 2018 году. Но более заметными для внешнего наблюдателя наши проекты стали, когда среди них появились модели управления производством. (Один из таких проектов — регулировка прокатки слябов с помощью алгоритмов машинного обучения. — Прим. ред. )

Монетизация происходит по-разному — не всегда речь идет об управлении агрегатами. У нас есть ряд проектов, направленных на снижение простоев за счет предсказания аварийных ситуаций и планирования ремонтов. Кроме того, хорошие результаты дают проекты, направленные на обнаружение дефектов. Это довольно актуальная тема именно для металлургов: в производстве выполняется много переделов, и на каждом из них есть риски возникновения дефектов, на что клиенты реагируют очень болезненно. Мы создали модель, дополняющую ранее существовавший комплекс и позволяющую немного точнее (а в некоторых случаях и существенно точнее) выявлять дефекты.

Всего мы запустили в эксплуатацию около 15 проектов, касающихся разных аспектов, — прогнозирование необходимости в обслуживании, экономия ресурсов, оптимизация действий, устранения дефектов, ускорение процессов. Все направления, где просматривался очевидный экономический эффект, мы уже охватили. Но у нас еще много площадок для применения новых подходов. Предприятия, вдохновленные нашими результатами, все чаще обращаются к нам.

— Вы пытаетесь оценивать эффективность своих проектов?

Я представляю порядок цифр получаемых результатов. Они не только многократно превышают затраты на работу нашего подразделения, но и заметны в общей прибыли. Надо понимать, что повышение эффективности процессов металлургического комбината даже на несколько процентов может дать финансовый результат, сравнимый с бюджетом средней компании.

— Как происходит отбор и приоритизация проектов? Наверняка кандидатов больше, чем имеющихся ресурсов.

Мы проводим ранжирование в первую очередь по ожидаемому эффекту, так как в деятельности нашего подразделения существует лишь один приоритет — финансовый результат. Именно поэтому приходится все аккуратно считать. Имея перед глазами портфель проектов-кандидатов, напротив каждого из которых стоит число, можно без затруднений решить, на чем сосредоточить силы.

Разумеется, есть и другие факторы, но они скорее относятся к ограничениям: доступность данных, готовность инфраструктуры, наличие времени и ресурсов на площадке у заказчика. Из-за этого некоторые проекты, перспективные с точки зрения ожидаемого эффекта, приходится тормозить, пропуская вперед другие.

Сейчас у нас в очереди не меньше десятка проектов. Причем часто бывает так, что один реализованный проект порождает несколько других. Однако наш коллектив каждый год удваивается, и мы себя чувствуем комфортно.

— Чему вы научились в ходе работы над платформой Интернета вещей? Какие выводы сделали как руководитель?

Основной урок в том, что рост культуры работы с данными напрямую зависит от числа вовлеченных людей. Да, профессионализм коллектива важен, но при плохом раскладе специалисты по работе с данными превратятся в анклав, который будет работать закрыто и к которому остальные не будут даже подходить. Руководитель, начинающий путешествие в мир работы с данными, должен это понимать. Я совершенно четко увидел, что чем больше людей вовлечено, тем быстрее получится добиться результата.

И второе: чтобы количество заказчиков росло, нужно всеми способами менять их сознание, показывая, каких целей можно добиться.

— Что бы вы сделали по-другому, если бы представилась возможность начать заново?

Как известно, история не терпит сослагательного наклонения. Оглядываясь назад, могу сказать, что процесс подготовки инфраструктуры следовало бы начать заранее — это могло бы существенно ускорить многие проекты. Часто задержки возникают вовсе не из-за отсутствия данных, а из-за обидных «мелочей»: недостаточно широкая сеть, нет какого-то помещения, не хватает людей. В некоторых новых проектах по-прежнему приходится решать эти проблемы ситуативно. Однако на первых этапах у нас не было аргументов в пользу таких вложений.

Хочу отметить еще один важный момент: хотелось бы как можно раньше начать накапливать даже не сами данные, а знания о них. Такая задача встает в каждом новом проекте, и внедрение каталога данных на более раннем этапе помогло бы ее решить. Но здесь имеем традиционную дилемму: либо делать продукты по Agile и «приносить быстрое счастье», либо вкладываться в подготовку и откладывать получение результатов на будущее. В современном мире обычно предпочитают первый подход.

Надо сказать, что на первом месте у нас всегда стояло получение эффекта, поэтому все, что мы делали, было довольно последовательно.

— Как вы видите свою роль и роль своего подразделения в развитии «Северстали»?

Я считаю себя евангелистом в двух аспектах: продвижение современных технологий для работы с данными и продвижение самих методик работы с данными. Союз технологий и подходов data science — то, что мы продвигали и будем продвигать.

Вторая важная роль — повышение доступности и прозрачности данных различных подразделений. Да, у нас на первом месте стоит получение финансового эффекта, но на втором — оздоровление ситуации с данными. По мере того как ставки растут, степень готовности данных перестает устраивать компанию. В любых проектах поиск и подготовка данных — это существенная часть работ. Сократив ее, мы сможем в разы повысить скорость реализации проектов.

Нынешнее состояние цифровых предприятий вполне можно было бы охарактеризовать словами известного писателя-фантаста Уильяма Гибсона: «Будущее уже здесь – просто оно еще неравномерно распределено».

В то время как некоторые из них уже погрузились в нирвану гиперскорости, гипермасштабируемости и гиперсвязности, другие все еще борются с разобщенностью инициатив цифровой трансформации, страдая от ударов конкурентов и прочих рыночных сил.

Время расплаты для ИТ-директоров, живущих в цифровую эпоху, еще не пришло, но пространства для маневра у них остается все меньше. Конкуренты активизируют свои усилия в цифровой сфере. В таких условиях ИТ-директора могут и должны принимать конкретные меры к созданию цифрового «предприятия будущего».

Прогнозы, основанные на отчете 'IDC FutureScape: Worldwide CIO Agenda 2020 Predictions', содержат актуальную информацию о технологиях, рынках и экосистемах и призваны помочь ИТ-директорам в понимании будущих тенденций, их влияния на предприятие, а также тех шагов, которые необходимо будет сделать в следующем году для достижения успеха.

1. К 2024 году 80% передовых в цифровом отношении организаций сменят модель «огороженного сада», в которой за все отвечает ИТ-служба, на модель самообслуживания. Предоставление библиотек облачных решений, функций в качестве сервиса (functions-as-a-service, FaaS) и инструментов, которые требуют написания минимального объема программного кода или позволяют вовсе отказаться от него и легко осваиваются даже людьми, не имеющими хорошей ИТ-подготовки, помогает бизнесу быстро реагировать на изменение потребностей рынка без привлечения ИТ-специалистов. Нужны лишь гарантии безопасности и совместимости этих решений.

Для такой трансформации ИТ-директорам необходимо четко представлять себе желаемое будущее состояние, которое определяется совместно с лидерами бизнеса и линейными менеджерами (line of business, LOB) и служит ориентиром для сотрудников предприятия и его партнеров.

Рекомендации

— Инвестируйте в обучение разработчиков проектированию и созданию таких цифровых инструментов, поддерживайте отношения с поставщиками инструментов, используя их опыт.

— Выстраивайте цифровые платформы с данными и API сервисов и микросервисов для создания открытых сред самообслуживания.

— Открывайте лаборатории и центры передового опыта для обмена знаниями между разработчиками LOB-приложений и персоналом ИТ-службы.

2. К 2023 году 65% ИТ-директоров возглавят в своих организациях процесс формирования центров инноваций, обмена передовым опытом и взаимодействия между инженерами всего предприятия. Поскольку в линейных подразделениях активно используются новые технологии и там работают грамотные в техническом отношении руководители и специалисты, ИТ-директору следует превратить ИТ-службу в центр обмена знаниями о цифровых технологиях и передовым опытом, позволяющим выстроить архитектуру и интегрировать цифровые усилия в масштабах всего предприятия. ИТ-директору и персоналу ИТ-службы необходимо заранее продумывать внесение изменений в целях удовлетворения меняющихся потребностей бизнеса, обеспечения поэтапной эволюции ИТ-сервисов и платформ, приобретения персоналом новых навыков и расширения возможностей и влияния ИТ в реальном времени.

Рекомендации

— Совместно с руководителями бизнес-подразделений сосредоточьтесь на создании культуры взаимного обучения и наставничества.

— Разработайте план расширения навыков на каждом из этапов с учетом темпов предполагаемой эволюции.

— Выстраивайте партнерские сети для заполнения пробелов в навыках и компетенциях.

3. Подталкиваемые как ростом киберугроз, так и потребностями в новом функционале 65% предприятий в период до 2023 года намерены модернизировать свои унаследованные системы, инвестировав в новые технологические платформы. Обновление и поддержка унаследованных систем не поспевают за растущими киберугрозами, но модернизация стоит дорого, и убедить руководство бизнеса модернизировать свои системы в свете киберугроз весьма непросто. Более реалистичной представляется реализация нового функционала и возможностей.

Рекомендации

— Подготовьте бизнес-сценарий, отражающий критически важные потребности бизнеса (например, улучшение клиентского восприятия), чтобы оправдать затраты на крупномасштабную замену унаследованных систем.

— Разработайте план оптимизации и модернизации, заручившись поддержкой руководителей линейных подразделений.

— Используйте архитектуры и подходы к разработке, опирающиеся на принцип «безопасность прежде всего» с тем чтобы избежать возникновения новых брешей и слабых мест в системе безопасности.

4. К 2023 году 70% ИТ-служб возьмут на вооружение стратегию контейнеризации/API, стремясь расширить переносимость приложений и повысить гибкость хостинга. Успешные организации будут проводить стратегии контейнеризации и удвоят усилия, направленные на использование API и микросервисов в целях дальнейшей модернизации, автоматизации процедур, обеспечения независимости вычислительной среды, изоляции приложений, улучшения качества и роста масштабируемости. ИТ-директора, не приемлющие подхода на основе контейнеров, ощутят нехватку гибкости, мобильности и масштабируемости, что в конечном итоге обернется существенной потерей конкурентоспособности.

Рекомендации

— Микросервисы в сочетании с контейнерами должны стать основой архитектурных моделей всех новых приложений.

— Внедряйте и расширяйте концепцию DevOps для непрерывной эволюции.

— Для удовлетворения спроса на получение вычислительных ресурсов по требованию применяйте бессерверные модели и функции, предоставляемые в качестве сервиса.

5. К 2022 году 70% ИТ-служб из строителей и операторов превратятся в проектировщиков и интеграторов цифровых решений, определяя каждый продукт, сервис и процесс. Проблема для ИТ-служб заключается в том, что линейные подразделения, подталкиваемые поставщиками, начнут укреплять свою роль в деле создания и развертывания технологий независимо от получаемой со стороны ИТ-службы поддержки, характер которой также будет меняться. Если руководители ИТ-служб откажутся от смены ролей и ответственности при внедрении технологических решений в линейных подразделениях, последствия для них будут весьма печальными. ИТ-директору гораздо лучше планировать и управлять переходом в тесном взаимодействии с руководителями линейных подразделений.

Рекомендации

— Разрабатывайте цифровую платформу и стратегии API для обеспечения безопасной и быстрой интеграции различных приложений и систем.

— Инвестируйте в глубокие экспертные знания в области проектирования и пользовательского восприятия.

— Создавайте центры передового опыта для выбора и проверки цифровых приложений и инструментов.

6. В период до 2023 года 80% организаций ускорят разработку программных систем. При этом развертывание обновлений и пересмотр программного кода будут выполняться не реже, чем раз в неделю. Многие ИТ-службы уже перешли от методологии водопада к agile-разработке программ (по крайней мере, теоретически), но пока слабо справляются с быстрым внедрением надежного программного кода малыми порциями с целью непрерывного создания новых ценностей для бизнеса. ИТ-службы должны иметь возможность развертывать обновления в еженедельном режиме, даже если это нужно только отдельным приложениям. ИТ-директору необходимо удвоить усилия, направленные на переход к по-настоящему гибкой (agile) разработке и DevOps.

Рекомендации

— Думайте о продуктах и бизнес-результатах, а не о проектах.

— Используйте модульный подход для повышения адаптируемости.

— Ускоряйте внедрение концепции DevOps и непрерывную интеграцию/развертывание, доверяйте подчиненным поиск новых подходов к созданию и развертыванию программного обеспечения.

7. К 2022 году 40% ИТ-директоров в той или иной мере будут возглавлять инновационное направление в своих организациях. Выбор ИТ-директоров в качестве руководителей процесса цифровой трансформации вполне логичен. Они обладают уникальным положением, для того чтобы стать инновационным лидером, глубоко знают цифровые технологии, способны прогнозировать обусловленные использованием новых технологий перемены в бизнесе и, что еще важнее, понимают, как работает бизнес. Руководители ИТ-служб, преуспевшие в роли инновационного лидера, способны убедительно излагать свое цифровое видение и привлекать всех остальных к его реализации. И хотя техническая смекалка по-прежнему является ключевым условием, успех их будет зависеть от умения общаться, выстраивать взаимоотношения и выполнять свои обязательства.

Рекомендации

— Формируйте основу для надежной доставки ИТ-сервисов и профилактики возможных проблем.

— Пропагандируйте цифровое видение, разработанное совместно с руководителями линейных подразделений.

— Выделяйте ограниченные, но существенные цифровые инициативы, демонстрируя их ценность для бизнеса.

8. В период до 2022 года внедрение средств искусственного интеллекта для расширения, оптимизации и ускорения ИТ-операций будет оставаться главной трансформационной инициативой для 60% корпоративных ИТ-служб. Проведенный IDC в августе 2019 года опрос настроений ИТ-директоров показал: представители 54% организаций убеждены в том, что искусственный интеллект представляет значительную ценность для автоматизации ИТ-операций и оптимизации ИТ. Задача ИТ-директоров заключается не в том, чтобы автоматизировать ИТ, а в том, чтобы сконцентрироваться на возможностях, сулящих наибольшую отдачу. ИТ-директор должен начать с определения своих стратегических целей, к которым может относиться сокращение затрат, перегруппировка талантов, повышение пропускной способности ИТ или что-то другое.

Рекомендации

— Для увеличения числа специалистов по искусственному интеллекту поддерживайте партнерские отношения с университетами, консорциумами, стартапами и прочими организациями и объединениями.

— Автоматизируйте операции и инициативы в области искусственного интеллекта для объединения разрозненных компонентов и рационализации процессов.

— Сделайте качество обслуживания ключевым показателем эффективности операций автоматизации.

9. В период до 2024 года 75% ИТ-директоров пересмотрят доступные им ресурсы, включая бюджеты, активы и таланты. Выделение ресурсов в реальном времени и обеспечение гибкости предприятия приведет к огромному сокращению затрат. Стремясь ускорить процессы и повысить их гибкость, ИТ-директора сталкиваются с самыми разными препятствиями. Наиболее существенным из них, пожалуй, является отсутствие гибкости при выделении необходимого финансирования и ресурсов. Возможность гибкого выделения ресурсов превращается в серьезное конкурентное преимущество ИТ-директора. Это необходимая основа для достижения настоящей организационной гибкости, которая в списке приоритетов ИТ-трансформации занимает у ИТ-директора одно из ведущих мест.

Рекомендации

— В тесном взаимодействии со службой управления персоналом и финансовым подразделением создавайте новые системы найма, управления эффективностью и бюджетирования.

— Поддерживая связь с руководителями линейных подразделений, создавайте технологии синхронизации ресурсов и бюджетов ИТ-службы и линейных подразделений.

— Используйте гибкие циклы для непрерывного планирования и сбалансированного распределения ИТ-ресурсов.

10. К 2023 году 60% ИТ-директоров будут внедрять утверждаенные высшим руководством программы повышения квалификации сотрудников. После ряда неудачных, разрозненных и не связанных друг с другом инициатив по вовлечению сотрудников наиболее эффективные ИТ-директора приступили к реализации стратегических целевых программ, предусматривающих непрерывное обучение, взаимодействие и инновации в цифровых рабочих пространствах. Иммерсивный опыт и рабочие пространства будут способствовать росту производительности труда и привлечению лучших талантов. В большинстве случаев такие программы являются важнейшим компонентом инициатив предприятия.

Рекомендации

— Формируйте культуру проектирования ИТ-продуктов и услуг, ориентированных на человека и понимание мотивации, желаний и потребностей целевых сегментов работников.

— При оценке и проектировании рабочего пространства и восприятия сотрудников поддерживайте взаимодействие с представителями кадровой службы и руководителями линейных подразделений.

— Используйте гибкие и итерационные подходы в сочетании с этнографическими исследованиями и проектным мышлением в процессе налаживания обучения и формирования рабочих пространств.

***

По мере того, как темпы цифровых преобразований ускоряются, добиться цифрового успеха становится все труднее. Для повышения своих шансов на успех ИТ-директор должен иметь план и стратегию разбиения составляющих цифровой трансформации на управляемые блоки. Необходимо избегать принятия цифровых бизнес-инициатив при отсутствии соответствующих основополагающих элементов. Некоторые из наших рекомендаций и прогнозов на 2020-е годы касаются как раз зкаладки фундамента. И в деле построения нового цифрового предприятия им отводится критически важная роль.

«Прежде чем приступать к каким-то новым преобразованиям в наступившем году, ИТ-директору полезно расчистить ментальные и физические нагромождения, освободив дополнительное пространство для изменений», – советуют в Gartner.

Однако, как указывается в отчете Gartner 2020 CIO Resolutions, для современных цифровых лидеров это может оказаться непростой задачей.

«Несмотря на рост ИТ-бюджетов многие ИТ-подразделения испытывают недостаток финансирования: запросы к ним превышают возможности их бюджетов, – указывают авторы доклада, аналитики Gartner Марк Раскино, Мэри Месальо и Тина Нунно. – Требование делать больше за меньшие деньги или просто делать больше может привести к физическому и моральному истощению. ИТ-директорам необходима обстановка, в которой они сами и вверенные им подразделения могли бы избавиться от ментального балласта и начать Новый год заряженными энергией».

Какие для этого даются рекомендации? Сбросьте балласт и покончите с делами, которые ведут к истощению и не приносят особой выгоды.

Один из способов заключается в том, чтобы навести порядок к своем офисе, оставив в нем лишь то, что несет в себе позитивный настрой. «Расчистите свой кабинет для свежих перспектив», – советуют аналитики Gartner.

Да и всему ИТ-отделу стоит посвятить один день освобождению от всего лишнего. Рекомендуется также пересмотреть просроченные инициативы, которые мертвым грузом давят на ИТ-отдел, и избавиться от регламентов, процессов и процедур, не несущих в себе ценности.

ИТ-директору имеет смысл начать все с чистого листа и разработать план на перспективу.

Авторы призывают также положить конец политике открытых дверей. «Как правило, те, кто склонен пользоваться открытой дверью вашего кабинета, и те, с кем ИТ-директору действительно имеет смысл встречаться, — это разные люди», – говорится в докладе.

Вместе с тем, ИТ-директор должен быть доступен для «стратегических собеседников» и лидеров других команд и подразделений. «Делегируйте, расширяйте полномочия своих подчиненных, смелее поручайте им контакты с другими людьми», – подчеркивают аналитики Gartner.

Размышляйте без поспешности

Одна из главных рекомендаций ИТ-руководителям: «думайте в аналоговом режиме».

«Справляться со сложными проблемами и находить оригинальные решения помогает неторопливое размышление, – указывается в докладе. – Ваш разум нуждается в помощи, чтобы работать усерднее и обстоятельнее».

Вы еще помните, как выглядит авторучка? Воспользуйтесь ею, чтобы набросать четыре-пять афоризмов о культуре мышления, и регулярно повторяйте их. Используйте качественную бумагу и постарайтесь записать эти фразы каллиграфическим почерком.

Еще один прием заключается в том, чтобы превратить офисную стену в «мыслительное пространство», изложив на ней детали своих планов на 2020 год.

Рекомендуется также «проектировать свою организацию в LEGO». Возьмите основание побольше и коробку с миниатюрными деталями: они подскажут «метафорические образы строителям, искателям жемчуга и супергероям-организаторам».

Как и в предыдущие годы, Gartner дает традиционный совет – постараться найти время, чтобы самостоятельно поэкспериментировать с технологиями, не перепоручая эту деятельность подчиненным.

Спектр таких технологий может варьироваться от повседневно используемых умных вещей до платформ категории low code, которые требуют минимального написания программного кода, расширяя возможности разработчиков-непрофессионалов.

Все это имеет важное значение, потому что напряженная и постоянно меняющаяся роль современных ИТ-директоров требует развития деловых контактов с прицелом на будущее и постоянной гонки за изменениями в стремительно развивающихся технологиях.

Успех в цифровом бизнесе невозможен без эффективной стратегии работы с данными. Как ее сформировать, а затем воплотить в жизнь, обсудили участники конференции «Качество данных 2020», которую провело издательство «Открытые системы». Независимо от того, насколько убедительны бизнес-аргументы или талантлива команда разработчиков, без консолидированных качественных данных любые проекты цифровой трансформации обречены на провал.

Реляционные базы данных, озера данных и хранилища NoSQL являются мощными средствами, позволяющими выполнять операции сбора, обновления, поиска, выборки и обработки данных. Вместе с тем они, как ни странно, обычно не предоставляют инструментов и интерфейсов, позволяющих организовать совместное использование того, что находится внутри них. Соответствующие ресурсы зачастую больше похожи на сейфы для данных. Известно, что внутри находятся ценные сведения, но простого способа получить доступ к ним снаружи не существует.

Бизнесу приходится иметь дело с множеством самых разных хранилищ данных: многочисленными корпоративными базами данных, небольшими информационными складами, ЦОДами, облаками, приложениями, инструментами бизнес-анализа, API, электронными таблицами и открытыми источниками данных.

Конечно, метаданные для таблиц, хранимых процедур, индексов и других объектов базы данных можно получить с помощью запроса к реляционной базе данных, составив таким образом ее каталог. Но такой подход отнимает много времени, требует хорошей технической подготовки и позволяет получить только базовый список из одного источника данных.

Можно использовать инструменты для обратного проектирования моделей данных или навигации по метаданным. Но они, как правило, предназначены для технических специалистов и служат главным образом для аудита, документирования и анализа баз данных.

Другими словами, возможностей запросов и инструментов, извлекающих метаданные, для удовлетворения имеющихся потребностей бизнеса сегодня явно недостаточно. Обусловлено это следующими причинами:

• cуществующие технологии требуют очень хорошей технической подготовки и вряд ли могут эффективно использоваться конечными пользователями;
• предприятиям, которые оперируют множеством баз с большими данными, различными технологиями баз данных и гибридными облаками, слишком много операций придется выполнять вручную;
• имеющиеся подходы не особенно полезны для исследователей данных, желающих наладить совместную работу и проводить эксперименты с машинным обучением, используя первичные и производные наборы данных;
• стратегия аудита метаданных не упрощает командам, осуществляющим управление данными, переход к методам активного управления.

Единый достоверный источник сведений об информационных активах организации

Каталоги данных существуют уже достаточно давно и приобретают все более стратегический характер, поскольку организации масштабируют платформы больших данных, инвестируют в программы исследования данных и машинного обучения, а также стараются поддерживать управляемое данными поведение.

Первое, что нужно знать о каталогах данных: это инструменты, помогающие всей организации обучаться и взаимодействовать на основе источников данных. В организациях, которые пытаются ориентироваться на данные, экспериментировать с машинным обучением и использовать встроенные средства анализа в приложениях управления взаимоотношениями с клиентами, им отводится очень важная роль.

Ответственность за интеграцию каталогов данных с основными источниками данных предприятия возлагается на инженеров по данным, разработчиков программного обеспечения и других технических специалистов. Именно они чаще всего обращаются к каталогу данных и видоизменяют его, особенно в процессе создания и модификации баз данных.

Каталоги данных, взаимодействующие с большей частью массивов данных предприятия, представляют собой единый источник достоверной информации. Они помогают ответить на вопросы о том, какие данные существуют у предприятия, где найти наилучшие источники данных, как защитить данные и кто обладает необходимым для этого опытом. Каталог данных включает в себя инструменты для обнаружения источников данных, получения метаданных для этих источников, выполнения поиска и управления метаданными.

Многие каталоги данных выходят за рамки понятия структурированного справочника, описывая связи между источниками данных, сущностями и объектами. Большинство каталогов отслеживают различные классы метаданных, особенно в части конфиденциальности и безопасности. Они позволяют получить и совместно использовать информацию о том, как различные люди, подразделения и приложения используют источники данных. Большинство каталогов данных включают также инструменты для определения словарей данных, для профилирования и очистки данных, а также для выполнения других сервисных операций. Специализированные каталоги данных предоставляют также возможности управления основными данными и получения информации о происхождении данных.

Продукты и сервисы каталогов данных

На рынке сегодня присутствует достаточно много инструментов и платформ для ведения каталогов данных. Некоторые из них представляют собой расширение какой-то другой инфраструктуры и функций управления корпоративными данными. Другие открывают возможности нового поколения и ориентированы на простоту использования, взаимодействие и дифференциацию машинного обучения. В конечном итоге выбор будет зависеть от масштабов, уровня квалификации пользователей, стратегии исследования данных, архитектуры данных и других требований, предъявляемых организацией.

Приведем примеры продуктов для ведения каталогов данных.

• Azure Data Catalog и AWS Glue – сервисы каталогизации данных, встроенные в платформы публичного облака.
• Функции каталога данных поддерживают многие платформы для интеграции данных, в том числе Informatica Enterprise Data Catalog, Talend Data Catalog, SAP Data Hub и IBM Infosphere Information Governance Catalog.
• Некоторые каталоги данных предназначены для платформ больших данных и гибридных облаков. К ним относятся, в частности, Cloudera Data Platform и InfoWorks DataFoundry, поддерживающие операции с данными и их настройку.
• Существуют автономные платформы с функциями машинного обучения: Unifi Data Catalog, Alation Data Catalog, Collibra Catalog, Waterline Data и IBM Watson Knowledge Catalog.
• Инструменты для управления основными данными (например, Stibo Systems и Reltio), а также платформы клиентских данных (Arm Treasure Data) также могут использоваться в качестве каталогов данных.

Машинное обучение для лучшего понимания данных

Функции автоматизации процесса обнаружения данных, осуществления поиска в репозитарии и предоставления инструментов для взаимодействия относятся к числу базовых. Более развитые каталоги поддерживают функции машинного обучения, обработки естественного языка и программирования с написанием минимального объема кода.

Функции машинного обучения могут принимать различные формы, зависящие от платформы. Unifi, к примеру, имеет встроенный функционал рекомендаций, который анализирует, как люди используют, объединяют и маркируют первичные и производные наборы данных. Проанализировав характер использования, компоненты машинного обучения выдают рекомендации другим пользователям в момент, когда они обращаются с запросом к аналогичным данным и шаблонам. В Unifi применяются также алгоритмы машинного обучения для профилирования данных, выявления конфиденциальной идентификационной информации личного характера и маркировки источников данных.

Collibra использует машинное обучение, чтобы помочь администраторам классифицировать данные. Компонент Automatic Data Classification анализирует новые наборы данных и сопоставляет их с 40 уже имеющимися классификаторами – адресов, финансовой информации и идентификаторов продуктов.

Waterline Data использует патентованную технологию отпечатков, которая автоматизирует обнаружение, классификацию и управление корпоративными данными. Одним из направлений является идентификация и маркировка конфиденциальных данных, которая, как утверждается, сокращает время, требуемое для маркировки, на 80%.

У разных платформ имеются разные стратегии и технические возможности для обработки данных. Некоторые из них функционируют только на уровне каталога данных и метаданных, в то время как другие поддерживают расширенные функции подготовки данных, их интеграции, очистки и других операций с данными.

Корпоративная система обработки и настройки данных InfoWorks Data Foundry непосредственно интегрирована с алгоритмами машинного обучения. Интерфейс визуального программирования, требующий написания минимального объема программного кода, позволяет конечным пользователям объединить данные с алгоритмами машинного обучения: кластеризацией k-means и классификацией по алгоритму случайных лесов.

Сегодня мы находимся на ранней стадии разработки активных платформ и каталогов данных, обеспечивающих управление, расширяющих операционные возможности и содержащих исследовательские инструменты для предприятий с растущими объемами данных. По мере роста ценности данных и их анализа, у организаций возникает потребность в их масштабировании и управлении ими. Одной из тех областей, в которых различные платформы каталогов данных будут конкурировать друг с другом, вероятно, станет машинное обучение.

Современные приложения все активнее проникают в онлайн-экономику. Однако не совсем ясно, носит ли их движение центростремительный или центробежный характер – другими словами, тяготеют ли они к центру облака или к границам сети.

Приложения – в форме программного обеспечения, сервисов, рабочей нагрузки и бизнес-логики – движутся в целом в том же направлении, что и данные, которые они генерируют и используют. Кто-то считает, что в массе своей они перемещаются в центр облака, привлекаемые растущим объемом озер данных, а кто-то видит их рассеивание в виде мельчайших микросервисов по границам вслед за мобильными и встроенными устройствами, а также устройствами Интернета вещей.

Реально ли притяжение данных?

Мы живем в мире, где облако все сильнее смещается на периферию, но стрелка весов в любой момент может качнуться и в другом направлении. Для объяснения тех или иных тенденций развертывания приложений обозреватели любят обращаться к новому понятию «притяжения данных».

Предполагаемое гравитационное притяжение данных, по их мнению, основано на следующих принципах.

Производительность. По мере приближения приложений к данным задержки снижаются, а пропускная способность при выполнении функций, связанных с обработкой данных, увеличивается.

Контроль. Приближение приложений к данным помогает обеспечить безопасность и добиться более полного и детального контроля над использованием и обработкой данных.

Стоимость. В случае приближения приложений к данным дополнительная выгода извлекается за счет повышения эффективности хостинга и управления связанной с данными рабочей нагрузкой приложений.

Масштабируемость. При приближении приложений к данным их ценность возрастает вследствие упрощения доступа к большему объему и разнообразию данных в непосредственной близости от их местонахождения.

Функционал. Приближение приложений к данным дает возможность воспользоваться преимуществами специального анализа данных, их интеграции, манипуляций с ними и другого функционала, поддерживаемого базовым источником или репозитарием.

Притяжение данных и гиперконвергентная инфраструктура

Если притяжение данных реально, оно несомненно должно оказывать влияние на архитектуру облака и сред граничных вычислений (edge computing). Но не вполне ясно, можно ли здесь говорить о чистом влиянии притяжения данных.

Некоторые считают, что аппаратным катализатором притяжения данных является гиперконвергентная инфраструктура. Согласно этому аргументу, гравитационное притяжение данных приводит к усилению связей между хранилищем данных и ресурсами обработки приложений – вычислительными, памяти, сетевыми и виртуализации – в новом поколении популярных аппаратных решений в облачных ЦОДах.

Но, называя гиперконвергентную инфраструктуру фактором притяжения данных к облаку, они игнорируют то, что соответствующие аппаратные средства зачастую развертываются как раз в периферийных средах, а не в стойках облачных ЦОДов. Ослабление притяжения у границ объясняется скорее потребностью в непрерывном улучшении восприятия пользователей – улучшении мобильных средств, интерактивного взаимодействия и взаимодействия в реальном времени, а также потоковых технологий – а не каким-то магическим притяжением данных, хранящихся в этих узлах.

Применительно к гиперконвергентной инфраструктуре аргумент притяжения данных легко может быть использован и в обратном направлении. Вычислительные мощности, являющиеся обязательным условием для выполнения любых приложений, имеют свойство притягивать к себе и другие ресурсы, включая данные. А поскольку эти ресурсы находятся в гиперконвергентном шасси вместе с центральными и прочими процессорами, улучшения в части производительности приложений, управления, стоимости, масштабируемости и функционала так же легко могут притягивать данные к границам сети, как и к облаку.

Притяжение данных и конфиденциальные вычисления

Не имея возможности изолировать и защитить конфиденциальные данные, многие организации предпочитают просто не выпускать их за пределы своих сетей. Притяжение данных легко можно сместить к краям сети, если защитить их с помощью стандартизированного в рамках всех платформ, приложений и инструментов подхода.

Ключевым условием реализации такой инициативы является обеспечение безопасности за периметром. Процедуры аутентификации, выдачи разрешений, обеспечения конфиденциальности и выполнения других функций управления должны следовать за данными, где бы те ни находились. Узлам обработки нужен постоянный доступ к средствам безопасности, позволяющим организовать управление ресурсами данных в моменты их использования, хранения и перемещения.

Другим важным элементом является оборудование, обеспечивающее конфиденциальность и безопасность данных за периметром с помощью доверенных сред исполнения, интегрированных во все узлы как в облаке, так и на границах сети. Преимущества стандартизированных аппаратных ускорителей при решении конфиденциальных задач очевидны. Они хорошо подходят для управления паролями и ключами на уровне устройств, реализации блокчейна и электронных кошельков, приложений искусственного интеллекта и машинного обучения, обмена сообщениями и построения других программ, имеющих дело с конфиденциальными данными. Но для того чтобы воспользоваться преимуществами таких средств защиты, необходимо внести существенные изменения в инструменты разработки приложений.

Эта новая парадигма отражает фундаментальный сдвиг в выполнении вычислений на аппаратном уровне. Она позволяет обрабатывать зашифрованные данные в памяти на заданном узле, не открывая их неавторизованным программам и другим локальным ресурсам. Опыт использования сред AMD Secure Encrypted Virtualization, Intel Software Guard Extensions, Red Hat Enarx и Google Asylo Project показывает, что конфиденциальные вычислительные технологии должны изолировать важные данные приложений при их размещении в памяти.

Если отраслевой стандарт – вычислительный фреймворк, обеспечивающий конфиденциальность на аппаратном уровне, будет поддержан рынком, причины, заставляющие предприятия держать конфиденциальные данные на своей территории, в значительной мере исчезнут. Созданный недавно организацией Linux Foundation консорциум Confidential Computing Consortium я считаю шагом в правильном направлении. Группа, в состав которой в качестве спонсоров и участников входят Alibaba, Arm, Baidu, Google, IBM, Intel, Microsoft и целый ряд других компаний, разрабатывает общую межотраслевую платформу с открытым кодом, позволяющую любому приложению обращаться к загружаемым в оперативную память и используемым на постоянной основе функциям безопасности, четкое выполнение которых обеспечивается на любом узле.

Данные в невесомости

Для реализации конфиденциальных вычислений в полном объеме стандартная отраслевая платформа должна быть интегрирована в более широкую инфраструктуру за пределами периметра. В идеальной среде элементы обеспечения безопасности данных и управления будут последовательно применяться везде, где находятся данные, от ядра облака до множества периферийных устройств. Эти элементы управления обеспечат эффективность и масштабируемость при любом сценарии, включая использование, хранение и перемещение данных.

Сместит ли идеальная конфиденциальная вычислительная инфраструктура «притяжение» данных от ядра к краям? Не обязательно. Универсальная, стандартная и неизменно высокопроизводительная инфраструктура, поддерживающая все узлы в распределенной структуре, не должна оказывать чистого эффекта на распространение данных и на приложения, подпитываемые этими данными.

Те, кто думают, что нападение на гражданскую инфраструктуру является военным преступлением, безусловно, правы. Тем не менее, шпионы из самых разных стран постоянно ведут тихую и грязную войну, подбираясь к гражданской инфраструктуре (в том числе и к гражданским атомным станциям, производящим электроэнергию), с тем чтобы иметь возможность совершить диверсию при возникновении геополитической напряженности.

Давайте проанализизуруем, как была взломана индийская АЭС Куданкулам (Kudankulam Nuclear Power Plant, KNPP) и как этого легко можно было бы избежать.

Взлом KNPP

Новость появилась, как это часто бывает в наши дни, в Twitter. По информации The New Indian Express, Пухрадж Сингх (@RungRage), известный специалист в области киберразведки, сыгравший важную роль в формировании центра кибервоенных операций в американской Национальной организации технических исследований (National Technical Research Organisation, NTRO), писал в Twitter: «Итак, теперь это становится достоянием общественности. Выявлен несанкционированный доступ к Kudankulam Nuclear Power Plant на уровне контроллера домена. Правительственные структуры были уведомлены давным-давно. Поражены критически важные цели». Сингх указал, что знал о нападении еще 7 сентября 2019 года, назвав его casus belli – событием достаточно серьезным для того, чтобы спровоцировать войну.

В своем последнем твите он пояснил, что не занимался изучением вредоносной программы лично: «Со мной связались представители третьей стороны, и 4 сентября (дата очень важна) я уведомил координатора по вопросам национальной кибербезопасности (National Cyber Security Coordinator). После этого мои информаторы поделились с офисом NCSC сведениями о признаках взлома. В 'Лаборатории Касперского' вредоносная программа чуть позже получила название DTrack».

Поначалу в Индийской национальной компании по атомным электростанциям (Nuclear Power Plant Corporation of India, NPCI) все отрицали. В своем пресс-релизе они осудили «ложную информацию», распространяемую в социальных сетях, и настаивали на том, что атомная станция Куданкулам «полностью автономна и не имеет внешних подключений к киберсетям и Интернету», а следовательно, «никакие кибератаки на систему управления атомной электростанцией невозможны в принципе».

Однако в дальнейшем там отказались от своих слов. Уже 30 октября в NPCI подтвердили, что вредоносная программа была обнаружена их системами, а уведомление CERT-India было направлено 4 сентября 2019 года. В заявлении говорилось, что зараженный компьютер был подключен к административной сети, «изолированной от критически важной внутренней сети. Расследование подтвердило, что системы станции не затронуты».

Целенаправленная атака

По данным исследователей из CyberBit, вредоносная программа вопреки первоначальным сообщениям была нацелена именно на KNPP. Методом обратного проектирования им удалось обнаружить в программном коде учетные данные администратора сетей KNPP (имя пользователеля: /user:KKNPP\\administrator; пароль: su.controller5kk), а также внутренние IP-адреса RFC 1918 (172.22.22.156, 10.2.114.1, 172.22.22.5, 10.2.4.1, 10.38.1.35), которые по определению не могут маршрутизироваться через Интернет.

Все это с высокой долей вероятности означает, что атакующий сначала сумел проникнуть в сети KNPP, просканировал устройства NAT, завладел учетными данными администратора, после чего использовал полученные данные в своей вредоносной программе, предназначенной для более глубокой и тщательной разведки сетей KNPP.

«Целью атаки была именно атомная станция, – утверждает Ход Гэвриел, занимающийся в CyberBit анализом кода вредоносных программ. – Возможно, речь здесь идет уже о втором ее этапе».

Исследованная вредоносная программа, впрочем, не включала аналогичный Stuxnet функционал, направленный на уничтожение систем KNPP. «На этой стадии все ограничивалось только сбором информации, никакого деструктивного вмешательства не было», – добавил Гэвриел.

Виновата ли Северная Корея?

В результате многочисленных исследований и анализа вредоносной программы, проведенного VirusTotal, было выявлено сходство кода с вредоносными программами, распространявшимися ранее северокорейской группой Lazarus. Аналитики «Лаборатории Касперского» обнаружили сходные черты еще с программами 2013 года: «Полученные образцы Dtrack показывают, что группа Lazarus отличается наиболее высокой активностью в части разработки вредоносного программного кода для проникновения в автоматизированные системы предприятий».

Однако с учетом того, что с геополитической точки зрения Индия не слишком интересует северокорейских хакеров, высока вероятность специального использования их кода другими группами для маскировки и направления следствия по ложному пути.

Анализ вредоносной программы

Вредоносная программа скрывалась внутри модифицированных копий вполне легитимного программного обеспечения, такого как 7Zip и VNC. Зачастую такая технология помогает избежать обнаружения вредоносных программ антивирусными сканерами. Отражать атаки можно за счет адекватной проверки сигнатур – модифицированная хеш-сумма программы отличается от хеш-суммы, подписанной поставщиком программного обеспечения. Успешное же проведение атаки подобного рода свидетельствует о том, что проверка хеш-сумм файлов программного обеспечения на станции не осуществлялась.

При пассивной защите выявить атаку очень сложно. «Эффективное обнаружение целенаправленных атак такого типа, как правило, сопряжено с большим количеством ложных срабатываний и требует тщательного анализа, – указал Гэвриел. – Службы, обеспечивающие безопасность критически важной инфраструктуры, должны постоянно проводить мониторинг сети, выявляя подозрительную деятельность и блокируя ее еще до того, как она успеет причинить реальный ущерб».

X5 Retail Group все чаще предстает на рынке как технологическая компания: большие данные и машинное обучение, магазин без покупателей и лаборатории инноваций, электронные ценники и многое другое. В числе ключевых направлений стратегии цифровой трансформации ретейлера — создание готовых аналитических продуктов на базе собственной Big Data Analytical Platform. Бесспорно, компания рассматривает большие данные как важнейший бизнес-актив.

О том, как строится работа с данными, Антон Мироненков, директор по большим данным X5 Retail Group, рассказывал в качестве номинанта первой премии CDO Award 2019. С тех пор сделано многое.

В X5 создали аналитический слой больших данных с сервисом, доступным каждому из 2 тыс. аналитиков компании. С его помощью они смогут быстро принимать решения на базе больших данных, анализируя все основные типы данных: товары, чеки, клиентов-поставщиков и их контрагентов. Количество продуктовых команд выросло с 8 до 15. Алгоритмы становятся в Х5 неотъемлемым элементом культуры data-driven, когда все решения принимаются на основе данных и продвинутой аналитики. Так компания может снизить цену человеческой ошибки и ускорить принятие решений.

Но самое интересное — в X5 сформировалось направление внешней монетизации данных. Ретейлер, располагающий большими данными и оснащенный арсеналом средств для их обработки, сам становится поставщиком информационных услуг для своих партнеров. «Зачем отдавать ‘руду’, если можно переплавить ее в ‘сталь’ и продавать уже готовое решение?», — говорит Антон Мироненков, номинант CDO Award 2020.

Сейчас X5 развивает два основных направления внешней монетизации, для которых в дирекции больших данных разработали собственные программные решения: таргетинг рекламы и портал поставщика. Компания чрезвычайно внимательно относится к данным и предъявляет повышенные требования к работе с ними, ориентируясь на лучшие мировые и европейские практики.

Рекламным площадкам — топливо для двигателя торговли

Чтобы выяснить, какая категория потенциальных покупателей действительно заинтересована в конкретном продукте и какой аудитории стоит показывать рекламу, клиенты и партнеры X5 обращаются к аналитическому сервису, использующему накопленные данные об истории продаж для таргетирования цифровой рекламы. Из информации о продажах можно с высокой вероятностью выявить, к примеру, потребительские привычки владельцев кошек как социальной группы и т. д. Следует особо отметить, что сервис использует только аналитическую информацию и не содержит персональных данных клиентов.

Инструмент дает рекламным агентствам и носителям рекламного инвентаря возможность самостоятельно конструировать сегменты любой сложности из более чем 1,3 тыс. категорий товаров в зависимости от частоты продаж бренда и других параметров, а затем запускать рекламные кампании на ресурсах Mail.ru, «Яндекса», Facebook, Instagram и GPMD в адрес социальных групп, имеющих идентичные потребительские предпочтения.

«Наконец поставщики и рекламодатели могут оценить, насколько их реклама была эффективной, — говорит Мироненков. — За это с нами готовы делиться частью рекламных бюджетов».

Методология основана на оценке роста продаж и по своей сути схожа с классическим А/В-тестированием, позволяя сравнить изменение покупательской активности при взаимодействии с рекламой продукта и в ее отсутствие. С максимально возможной точностью из оценки исключается влияние таких факторов, как сезонность, промоакции, активность конкурентов. Решение дает возможность на основании статистически значимых данных сделать выводы о влиянии креативности, частоты, предложения и формата рекламы.

В следующую версию программного продукта добавят опции создания смешанных таргетингов, формирования сегментов по склонности к покупке бренда или категории, определения аудитории с максимальной вероятностью покупки в период рекламной кампании, а также анализа результатов видео- и аудиорекламы в магазинах.

Поставщикам — аналитика в розницу

Отделы категорийного, бренд- и маркетинг-менеджмента любого производителя хотят понимать, востребована ли на рынке выпускаемая продукция и насколько хорошо она продается. И кто как не ретейлер обладает максимально глубокими сведениями о том, как меняется поведение потребителя, его корзина и предпочтения?

Второй внешний сервис, родившийся в дирекции больших данных X5, — аналитический портал поставщика, который предназначен для категорийной и потребительской аналитики. Несколько модулей, аккумулирующих историю продаж и информацию о поведении потребителей, позволяют находить способы улучшения бизнес-показателей.

Инструмент помогает партнерам не только анализировать продажи, но и выявлять источники изменения спроса и изменения продаж на конкурирующие торговые марки, отслеживать ротацию, перемену предпочтений.

По мере развития продукта на его аналитических модулях воплощается множество пилотных проектов. Для цифровых кампаний и мультикатегорийных тестов изучаются эффективность продаж и магазинов, уровень возврата инвестиций, источники изменения продаж, а также факторы, влияющие на изменение потребления. Для того чтобы оценить успешность запусков новых товаров, определяются эффективность запуска по сравнению с аналогичными, длительность «эффекта новизны» для продаж, источники продаж и доля каннибализации. По словам Мироненкова, информация о запускаемых на рынок новинках очень востребована: как эти новинки принимают, покупает ли их молодежь или люди среднего возраста, каков средний чек покупки? Портал дает поставщикам редкую возможность точно увидеть, какие социально-демографические характеристики присущи аудитории потребителей продукции и как аудитория реагирует на те или иные действия.

Пока на портале доступен функционал для формирования трех отчетов: диагностика категории, источники продаж и миграция покупателей. Предполагается, что число отчетов в программе будет расти. Уже в первом полугодии 2020 года планируется ввести в промышленную эксплуатацию еще восемь модулей, которые сейчас тестируются партнерами: для анализа промоакций, анализа корзины, построения дерева принятия решений, профилирования, анализа репертуара покупок, а также тестирования, кластеризации магазинов и трекинга запуска новинок.

Доступ к программе предоставляется на основании лицензионного договора. За фиксированную плату поставщик получает на определенный период времени доступ к функционалу программы и приобретенным аналитическим отчетам по его продукции и категории.

Новая на российском рынке услуга воспринимается клиентами очень по-разному, иногда настороженно, несмотря на то что представители поставщиков могут сравнивать свою компанию только с категорией в целом, а не с конкретными конкурентами. Аналитический портал поставщика предоставляет уникальную для рынка аналитику как по содержанию, так и по срокам ее получения, утверждают в X5. «Никто из ретейлеров в нашей стране этого еще не делал, а за рубежом похожие проекты обычно реализуются с внешними компаниями», — говорит Мироненков. Кстати, аналитики, работающие в самой X5, тоже заинтересовались новым информационным сервисом и намерены им пользоваться.

У чистого истока

Проблемы, с которыми CDO пришлось столкнуться в этом проекте, типичны: при всем обилии больших данных, для выполнения конкретной задачи их приходится добывать, очищать и обрабатывать разными способами, чтобы получить нужные разрезы. И это требует существенных затрат. «Мы тратим приблизительно одинаковое время на собственно разработку продукта и на то, чтобы добыть для него данные, настроить регулярное обновление и сделать витрину чистой, с корректной и аккуратной выдачей», — делится Мироненков.

Портал поставщика использует исключительно легальные внутренние источники данных, главным образом чековую информацию и данные программ лояльности. Для повышения качества данных в момент их загрузки применяется набор, состоящий из примерно 70 тестов, в ходе которых выявляются экстремумы, пустые интервалы, отсутствующие данные и пр. Такая работа постоянно ведется в отношении всех формируемых в компании витрин данных.

Если на вход поступают «грязные» и некачественные данные, то добиться их чистоты невозможно, полагает Мироненков. Поэтому внутри бизнес-подразделений были назначены ответственные за то, чтобы в их домене генерировались нужные данные требуемого качества. Им «дали руки» — технических специалистов, которые помогают выгружать данные из систем, описывать, создавать регламенты и следить за их исполнением.

Кроме того, дирекция больших данных организует семинары, проводит внутренние конференции и воркшопы. «Если бизнес хочет решать какие-то задачи, используя, например, данные о перевозках, сначала надо научиться такие данные сгенерировать и озаботиться тем, чтобы они были качественными», — рассказывает Мироненков. Значит, необходимо вместе прикладывать все силы, чтобы эти данные правильно создавались, хранились и выгружались — без пропусков и в допустимых диапазонах.

И, самое главное — нужно, чтобы все понимали, как агрегируются и считаются эти данные. Если в системе фигурируют три разных показателя выручки, не всегда можно понять, какой из них что означает. Поэтому, кроме технических действий по очистке и фильтрации больших данных, необходим каталог данных, который содержит метаданные, описывающие как получены эти данные, из какого источника взяты. С его помощью можно понять, какой из показателей следует выбрать в конкретном случае. Это важный элемент, помогающий формировать культуру работы с данными и дающий понимание, что информация собирается не для дирекции больших данных, а для бизнеса. «Мы можем только помочь, обеспечить техническую и методическую поддержку, но, если сам бизнес не будет этим озабочен, ничего не получится», — подчеркивает Мироненков.

Пять к одному

Функции дирекции больших данных не ограничиваются только лишь обеспечением приемлемого уровня качества данных, их доступности и технической возможности анализа через витрины. Еще одно большое направление деятельности — разработка продуктов. «Продуктовые команды по большей части состоят из наших сотрудников, мы занимаемся и созданием архитектуры продукта, и разработкой кода, и бизнес-анализом», — отмечает Мироненков.

До сих пор продукты создавались с прицелом на внутреннюю монетизацию, на результат в существующем бизнесе: сокращение издержек, увеличение продаж или их прибыльности. Изменение этих показателей даже на доли процента в масштабе всего бизнеса X5 — это уже огромная цифра, поэтому внутренняя монетизация по-прежнему остается более значимой для компании. Это отражается и в соотношении сил: на внутренний «рынок» работает порядка 15 команд, на внешний — только одна, правда, большая. По мнению Мироненкова, в ближайшие годы существующая пропорция сильно не изменится. «Масштаб внешней монетизации все-таки не столь велик, мы пока только набираем пользователей, — говорит он. — Чтобы выйти хотя бы на тот же уровень доходности, который мы имеем внутри, потребуется не один год».

Услугами таргетинга сейчас пользуются свыше 20 компаний, включая MyTarget, «Яндекс», Facebook и «большую четверку» рекламных агентств. Тех, кто пользуется порталом поставщика, пока немного, но с пятью десятками компаний ведутся активные переговоры, и ожидается, что вскоре число подключившихся существенно увеличится. Аналитические сервисы приносят компании десятки миллионов рублей — для такого гиганта, как X5, не очень значительные объемы. Однако работа по внешней монетизации больших данных отлично окупается — соотношение прибыли к затратам составляет примерно пять к одному.

В 2020 году компания планирует расширить линейку продуктов, предоставляющих рынку новые возможности использования своих больших данных.

Три года назад в банке «Уралсиб» был организован департамент искусственного интеллекта и анализа данных (ArtificiaI Intelligence and Data Analytics Office) – AIDA. Инициатор создания этой структуры и ее руководитель, старший вице-президент банка Юрий Сирота позиционирует себя как Сhief Аnalytics Оfficer. Но по существу его деятельность близка концепции CDO 4.0, недавно предложенной аналитиками Gartner. Руководитель AIDA видит основную задачу своего подразделения в том, чтобы проекты в области продвинутого анализа данных и искусственного интеллекта впрямую влияли на прибыльность банка, его конкурентоспособность.

Юрий Сирота, номинант премии CDO Award 2020, рассказывает о своем детище, о том, как с помощью AIDA в банке формируется культура data-driven, и каким образом проекты департамента обеспечивают реальную монетизацию данных.

- Как создавалась AIDA?

Я пришел в банк «Уралсиб» с идеей организовать структуру, целью которой стало бы развитие сервисов монетизации данных и внедрение подходов data-driven к ведению бизнеса. На тот момент это была действительно инновационная идея.

За три года пройден немалый путь. Чтобы прийти к успеху, недостаточно иметь инструменты и знания, необходимо еще суметь внедрить сервисы, то есть решить проблемы реализации в конкретной продуктивной среде, преодолеть сопротивление инновациям. Путь непростой, но мы успешно справляемся с трудностями.

- Но примерно в это же время многие компании организовывали структуры для работы с большими данными. В чем уникальность и инновационность AIDA?

Когда мы говорим о big data, то чаще всего подразумеваем хранение, упорядочивание, качество данных, глоссарий, предоставление данных. Основная задача AIDA – не big data, а big monetization, или big value data. Монетизация не обязательно достигается через аналитику больших данных. Успех подразделения определяется полученной банком прибылью, а не количеством накопленных петабайтов данных, не дороговизной оборудования или числом сотрудников.

- То есть в аббревиатуре AIDA ключевое слово – не data, а analytics?

Analytics и intelligence. Продвинутая аналитика – одно из направлений раздела знаний об искусственном интеллекте. Другие направления – применение методов ИИ для интеллектуальной оптимизации процессов, чат-боты, компьютерное зрение, обработка естественных языков, то есть функции, обычно присущие человеку. Безусловно, монетизация по большей части относится к аналитике данных, но мы работаем и с другими направлениями искусственного интеллекта.

- В чем инновационность AIDA с точки зрения оргструктуры?

Инновации почти всегда встречают сопротивление. Чтобы его преодолеть, нужен организационный ресурс, а чтобы этот ресурс работал, необходима значимая позиция внутри банковской оргструктуры. Поэтому AIDA находится в блоке стратегического развития и курируется заместителем председателя правления банка. Неправильно, когда такие структуры входят в состав какого-то департамента, потому что тогда трудно распространять инновации на всю организацию.

В AIDA три основные компетенции: инженеры данных, специалисты BI и аналитики данных. Первые подготавливают данные, вторые готовят аналитические приложения, третьи анализируют данные и строят математические модели. Надо сказать, что подготовка данных – это 90% всех трудозатрат, хотя основная ценность приходится на оставшиеся 10%.

В состав AIDA входит центр компетенций BI, который занимается созданием удобных аналитических приложений со встроенной аналитикой (augmented analytics). Благодаря работе этого центра пользователи, не имеющие навыков математических исследований, получают в свое распоряжение встроенные в дружественный интерфейс предcказательные и предписательные модели, а не только ретроспективную отчетность. Так мы продвигаем методы продвинутой аналитики «в массы».

Успех любого проекта AIDA – кросс-функциональная команда, во главе которой стоит бизнес-заказчик. Он понимает, откуда можно извлечь выгоду, подсвечивает узкие места в своем бизнесе. А сотрудники AIDA помогают улучшить процессы с помощью инструментов, соответствующих конкретной задаче. Если подразделение входит в структуру блока стратегического развития, это способствует формированию таких междисциплинарных команд. Тем самым организуется увязка проектов AIDA с бизнес-стратегией банка.

- Сложилась ли в банке культура data-driven? Можно ли сказать, что AIDA является ее основным драйвером?

Такая культура складывается. Успешные проекты AIDA способствуют ее продвижению. Бизнес-заказчики уже приходят к нам с просьбой принять участие в их процессах.

Главное, что я стараюсь донести до заказчиков, – смотрите на те сущности, которые вас интересуют, на любые ваши процессы, на отчетность. Если эти процессы поддаются математическому моделированию, значит, мы можем пытаться предсказывать их показатели, то есть получить возможность их оптимизировать, сократить затраты, улучшить маржинальность. Это математика предсказаний, показывающая, куда движется та или иная сущность. Дальше может вступить в дело математика предписаний, дающая рекомендации, что нужно сделать для того, чтобы эта сущность имела именно те значения, которые нам необходимы.

Это широчайшее поле для поиска идей монетизации.

- Как организован поиск этих идей? Кто выступает инициатором — AIDA или бизнес?

Это двунаправленный процесс. Заказчики приходят к нам со своими болями. Как правило, результата удается достичь быстрее и эффективнее, когда инициатива вызревает в бизнес-подразделении. Однако человек в должности CDO — не только «реализатор» чужих идей. Он должен еще и сам их генерировать и продвигать. Понимание стратегии организации и ситуации на рынке помогает выявить перспективные направления монетизации.

Один из источник таких идей – отчетность. В ней содержатся данные ретроспективной аналитики, и можно задаться вопросом, какими эти показатели могут стать в будущем и что надо сделать для того, чтобы получить интересующие нас значения.

Еще одно направление поиска идей для монетизации – это бесхозные процессы на стыке нескольких департаментов. Там, где нет единого хозяина, деятельность обычно не очень эффективна, и есть поле для оптимизации и получения выгоды.

- Какие проекты монетизации данных реализованы в AIDA?

Как правило, в банках подходы data-driven развиты в службах риск-менеджмента, в розничном бизнесе. Но везде, где можно провести сравнение «больше-меньше», «выгоднее-убыточнее», «быстрее-медленнее», применима математика, а, значит, процесс можно пытаться оптимизировать и получить выгоду. Поэтому сервисами AIDA уже активно пользуются служба финансового мониторинга, коллекторский бизнес, блок операционной поддержки, подразделение малого бизнеса.

Из реализованных за последний год можно выделить проект для коллекторского бизнеса — выявление заемщиков с просроченной задолженностью, у которых вероятность возврата задолженности больше. Оптимизировав средства взыскания просроченной задолженности, можно обеспечить внушительную монетизацию.

В клиентском бизнесе стартовал проект по сокращению оттока клиентов и увеличению маржинальности. Сокращение оттока – это недопущение потерь прибыли, увеличение маржинальности бизнеса – это рост продаж, кросс-продаж, поднятие суммы продаж. Такие сервисы уже начинают внедрять в малом бизнесе.

Проект по кеш-менеджменту обеспечивает оптимизацию процессов блока операционной поддержки – сокращение избыточного фондирования наличности в банкоматах и в кассах дополнительных офисов.

- На премию CDO Award 2019 вы представляли проект Anti Money Laundering по выявлению токсичных, то есть совершающих противозаконные транзакции, клиентов. Как развивался проект за истекший год?

Мы продолжаем работать над математическим аппаратом этого решения — улучшаем набор и качество инструментов. Недобросовестные организации постоянно совершенствуют свои методы реализации незаконных операций, и мы вынуждены их догонять. Если инструменты аналитики данных не «тюнинговать», они становятся бесполезными, а если не делать этого на протяжении долгого времени, могут начать работать во вред. Это бесконечный цикл подготовки данных, их обогащения, улучшения качества моделирования, внедрения в продуктив. Ни один такой проект после его осуществления не может быть сделан и заброшен, его необходимо улучшать, иначе он будет деградировать.

- С какими данными и с какими техническими решениями работает AIDA?

Хочу подчеркнуть, что мериться надо не петабайтами данных, а результатами монетизации, достигнутой с помощью данных. Для big value data не обязательно иметь озера данных, может быть достаточно таблицы Excel. Я не пропагандирую устаревшие подходы, но скажу, что при выборе задач, источников и инструментов мы исходим из ценности, которую данные доставляют. Монетизация – это совокупность организационных, психологических, математических, технологических компонентов, а также различных аспектов, обусловленных спецификой бизнеса. Инструменты – необходимое, но недостаточное условие успешной монетизации, так же как и толпа математиков, дорогое ПО и оборудование не являются гарантами успеха.

Поэтому мы делаем упор на оргсоставляющую инноваций, на поиск и развитие математической и аналитической экспертизы (все специалисты по data science в AIDA имеют фундаментальное математическое образование), а также на формирование в банке культуры data-driven.

Что касается технологий, то мы используем реляционную СУБД Oracle (с упорядоченными и чистыми данными проще работать в аналитике), математические программы с открытым кодом (пакеты R, Python) вполне отвечают предъявляемым нами требованиям.

Кроме того, используем стек BI-технологий с возможностью интегрировать математические инструменты. BI – это первый шаг к аналитике. Даже в рамках привычного BI-интерфейса для неискушенных пользователей мы внедряем продвинутую аналитику.

- Есть ли необходимость работать с внешними данными?

Да, мы используем данные информационных агентств, бюро кредитных историй, информацию из социальных сетей, сотрудничаем с телекомом.

- Давайте подведем итог. В чем вы видите стратегическую роль AIDA для банка? Каковы планы развития вашего подразделения?

Банковский бизнес не является высокомаржинальным, конкуренция тут жесткая, поэтому мы должны бороться за каждую сотую долю процента доходности. Необходимо не просто улучшать процессы, но делать это глубже и качественнее, чем конкуренты. Монетизация, которую обеспечивают проекты AIDA, может давать банку ощутимые преимущества на рынке.

Планы на будущее – увеличить число заказчиков, количество проектов и доходность уже реализованных, популяризировать data-driven организации. Если об инновациях не рассказывать, то невозможно успешно их внедрить.