Статьи

Говоря о цифровой трансформации, обычно подразумевают перемены в бизнесе. Однако цифровизация отправляет на переплавку не только традиционные бизнес-модели, но и привычные способы социальной работы, придавая новую ценность решениям, основанным на данных. В компании «МегаФон» реализовали проект, который помогает волонтерам поисково-спасательного отряда «Лиза Алерт» искать пропавших людей. Алгоритм «МегаФон.Поиска» анализирует огромное количество информации и находит людей, которые были рядом с пропавшим человеком и могли его видеть.

О проекте, который спасает жизни,  о  подходах к работе с данными и шагах на пути к селф-аналитике, рассказал номинант CDO Award 2020 Леонид Черный, директор по управлению данными  «МегаФона». 

- Как зародился этот проект, c чего все начиналось?

Все началось с инициативы Big Data for Social Good ассоциации GSMА. Ее участники получили предложение подумать о вариантах использования искусственного интеллекта и больших данных для решения социальных проблем своего региона. К примеру, турецкий оператор связи Turkcell рассылает абонентам предупреждения о землетрясениях, от которых страдает восточная часть страны. Мы же считаем важным сделать поиск людей более быстрым и  результативным. Проект «МегаФон.Поиск» был реализован совместно с нашим  партнером «Лиза Алерт», с которым  мы  сотрудничаем с 2015 года, обеспечивая волонтеров связью и  Интернетом  во время поисковых  работ. При подготовке проекта  мы  учитывали опыт  Amber Alert — программы, которая уже много лет действует в США. В случае похищения или пропажи ребенка инициируется SMS-рассылка оповещений всем, чьи телефоны зарегистрированы в радиусе 70 миль от места, где его видели в последний раз. Причем эти сообщения игнорируют такие настройки телефона, как, например, беззвучный режим. Эта программа действительно спасает жизни, помогая находить детей.

У нас другая ситуация: мы действуем в рамках покрытия своей сети и  используем нашу абонентскую базу. Получив  одобрение  GSMА, мы  начали реализовывать проект, чувствуя в себе потенциал «нанести непоправимую пользу» обществу.

С Центром поиска пропавших людей, объединяющим большое количество волонтерских служб и поисковых отрядов, сейчас стараются сотрудничать все операторы, но другие проекты с подобными задачами мне неизвестны.

- С какими проблемами пришлось столкнуться и как с ними разбирались?

Разрабатываемое решение должно было соответствовать нормам законодательства о персональных данных, о связи, о тайне частной жизни. Чтобы получившийся инструмент можно было легально использовать, потребовалось  приложить много усилий по общению и согласованию  работы не только членов моей команды, занимающихся большими данными, машинным обучением и искусственным интеллектом, но также юристов и специалистов по информационной безопасности. При этом мы находились в плотном контакте с регулятором и правоохранительными  органами. 

- Какие данные и из каких источников использует «МегаФон.Поиск»?

  Мы применяем геоаналитику,  модели машинного обучения, пользовательские сегменты и социальный граф. У нас большое собственное хранилище,  содержащее  в том  числе  информацию об абонентах. Также мы использовали телеметрию с базовых станций и информацию, предоставленную координаторами Национального центра помощи пропавшим и пострадавшим детям.

- Как  действует  механизм «МегаФон.Поиска»?

Информация о пропавшем человеке проходит несколько ступеней, прежде чем попадает в  отряд  «Лиза Алерт», где ее консолидируют.  Все сведения вносятся  в веб-форму на ресурсах  «МегаФона»,  доступ к которой по двухфакторной авторизации есть у координаторов отряда.

На основании заполненной координатором веб-формы формируется ХML-файл, который содержит ссылку на загруженную на сервер ориентировку и остальную необходимую информацию. Наличие этого файла на сервере проверяется с интервалом в 1 минуту. С появлением файла запускается механизм, превращающий содержащуюся в нем информацию в набор параметров для системы машинного обучения, которая определяет перечень базовых станций, пул абонентов и формирует список идентификаторов.

Определив  базовые станции,  ближайшие к точке, где человек был замечен в последний раз, по логам телеметрии смотрим, кто из наших абонентов был зарегистрирован на этих станциях за час до и в течении часа после указанного координатором временного промежутка.

Если пропавший является нашим абонентом,  то,  помимо  прочего,  нам также известны наиболее частые входящие и исходящие звонки. Мы строим социальный граф по звонкам пропавшего, пересекаем эти два множества (социальный граф и телеметрию) и определяем круг людей, которые могли его видеть. Чем ближе к заданному промежутку  времени их звонки,  тем выше они в списке ранжирования. В результате формируется список из нескольких тысяч потенциальных свидетелей, которые могут обладать полезной для поиска информацией.

После проверки на соответствие правилам качества данный список отправляется на сервер. Программа сразу берет его в работу: рассылает по нему SMS со ссылкой на ориентировку, где есть фотография. Весь процесс занимает несколько минут.

- Какими результатами можете поделиться сегодня?

«Лиза Алерт» рассылает подобные сообщения с марта 2019 года. За 10 месяцев сервис использовался в 450+ поисках в более чем 40 регионах России. Количество наших абонентов, которые получают информацию, может варьироваться в довольно широких  пределах —  в зависимости от региона, времени суток и места, в котором пропавшего видели в последний раз. Для нас критичен не масштаб рассылки информации, а ее релевантность, так как именно это является фактором, позволяющим ожидать  отклика  с информацией, требующейся для успешного завершения поиска. Я сам попадал в такой список и получал SMS с ориентировкой. Это работает, потому что такая социальная роль большинству  людей  не чужда.  Они  чувствуют в себе  внутренний импульс помочь  и  реагируют —  это видно по количеству звонков и переходов по ссылке. Приблизительно в каждом третьем случае, когда используется «МегаФон.Поиск», люди  звонят  и оставляют информацию о  потерявшемся. Количество  переходов по ссылке на ориентировку еще выше. И самое  прекрасное:  уже есть кейсы, когда человек был найден благодаря  свидетельствам,  полученным через этот канал  коммуникации  (см. врезку 2).

- Как обеспечивается качество данных?

Мы применяем механизмы очистки данных,  удаляем ранее  не стертые логи людей, для которых присутствие на данной базовой станции нетипично — в основном это туристы и командировочные.

Несколько тысяч микросервисов-чекеров на корпоративном хранилище постоянно следят за потоком передаваемой и обрабатываемой информации с целью идентификации выбросов, выходящих за пределы статистических  погрешностей,  или  непопадания  в «маску» (например, номера телефонов, состоящие меньше чем из 7 цифр). Оповещение об аномалии автоматически отправляется оператору.

- В чем заключается стратегия работы с данными?

Ключевая задача, стоящая передо мной и моим  подразделением,  — предоставлять бизнесу корректные данные, на основании которых можно сделать выводы, трансформирующиеся в наши новые продукты.

- И каковы критерии уверенности в данных?

Создаваемые в компании дата-сеты сильно связаны между собой: любая цифра может быть верифицирована. Большой объем нашей работы связан с кросс-валидацией тех показателей, которыми мы оперируем. Например, в справочнике клиентов и системе биллинга есть общие данные. Когда  значения номера  одного и того же абонента не  совпадают,  мы либо не можем предоставить ему услуги, либо не можем  получить  за них оплату. Если такая проблема возникает, надо  выявить  и решить ее максимально быстро, чтобы обеспечить непрерывность бизнеса и предоставления сервиса.

- Что собой представляет инфраструктура для работы с данными? Какие платформы вы используете?

Основной стек, на котором мы работаем,  —  это Oracle,  а также используем  большое количество  решений  open  source.  Продукты, предоставляющие возможность работы с данными, появляются  часто. Мы  тестируем их, чтобы понять, дают  ли  они нам какие-то новые  возможности.  В большинстве случаев дают. Например, я счастлив, что компания «Яндекс» открыла для разработчиков свою СУБД ClickHouse. Мы очень активно используем Tarantool от Mail.ru Group. В некоторых задачах работают библиотеки, начиная от Cassandra и заканчивая Hadoop, который есть у всех. Обеспечивать связность всех этих систем — отдельная задача, которой занимается моя команда.

Еще несколько лет назад подход был другим: давайте соберем в одно хранилище все что можно, начиная от телеметрии и заканчивая бухгалтерской информацией, а потом подумаем, что с  этим  делать. Нет.  Должны  быть  корректные, верифицированные данные, которые приносят  пользу бизнесу.

У нас есть озеро данных — хранилище всей имеющейся в компании неструктурированной информации.  Но  есть  и  хранилище структурированной  информации — ее вычленили  инженеры, архитекторы, специалисты по внедрению  бизнес-аналитики. Определив,  как она должна храниться, чтобы приносить пользу бизнесу,  они сделали  информационную  витрину для такого хранилища.  По большому счету, это огромный  файл  Excel с агрегированными и структурированными данными, который является «источником правды» для бизнеса.  Параллельная задача — поиск  с помощью машинного обучения еще  чего-то,  что мы до сих пор не  обнаружили в массе неразобранных данных,  не посчитали и из чего не извлекли  пользу.  Основная цель — работа со структурированными данными.

- Есть мнение, что собрать корректные данные не получится, если сразу не поставить задачу, для решения которой  они собираются.  Вы согласны с этим?

Не совсем. Бизнес всегда смотрит вперед, мы должны предсказывать, что может ему понадобиться.

Наше хранилище структурированной информации занимает почти 700 терабайт — это данные, про которые мы все знаем. К нему есть наборы витрин, комбинируя которые мы можем  предоставлять  бизнесу необходимую информацию.

- Развиваете ли вы самообслуживание в аналитике?

Переход к селф-аналитике является одной из стратегических целей Управления данными. Мы активно движемся в этом направлении, понимая, что это снимет с нас часть  сверхнагрузки  по удовлетворению запросов бизнеса. Но не стоит  забывать о том,  что  для такого развития требуются определенные знания.  В прошлом году  моя команда обучила более тысячи человек работе с BI-системами, применению логики  больших данных и  использованию возможностей, предоставляемых  внутренним пользователям  при  работе с большими  данными.  В «МегаАкадемии» курсы по Big Data, которые ведут мои ребята,  —  одни из самых востребованных. Мы прикладываем много сил, чтобы поддерживать их актуальность. Это самый первый большой шаг, сделанный в  направлении  селф-аналитики.

Также у нас есть набор общеобразовательных курсов,  на  которых мы даем сначала начальное, а  затем  и углубленное представление об имеющемся стандартном инструментарии. Для селф-аналитики это Tableau — инструмент визуализации данных, принадлежащий Salesforce. Для тех, кто работает на стеке Microsoft и для кого основным источником данных служит Excel, инструмент для самостоятельного анализа очень простой — Microsoft Power BI. Из продуктивных решений, которые выдерживают  одномоментную нагрузку при подключении  тысячи пользователей, мы используем Oracle BI, для части задач — SAP Business Objects. Работе с ними мы учим всех желающих.

  Кроме того,  нам поступают запросы на обучение конкретным  функциям —  например, от руководителей региональных офисов. Тогда один из моих сотрудников за несколько часов  разбирает  решение конкретных задач.

В целом к  организации внутреннего обучения привлекается  не менее трети сотрудников команды, насчитывающей 130 человек.

- Какое место проект «МегаФон.Поиск» занимает в трансформации компании?

Сегодня телеком сфокусирован на предоставлении сервисов, но со временем он должен стать шире, чем  ИТ.  Очень хочу, чтобы таких проектов, как  «МегаФон.Поиск»,  стало больше, потому что ценность, которую мы приносим в мир,  —  не только в сервисах и возможностях, но и в пользе  для общества. 

- Как планируете развивать проект?

Мы работаем над расширением покрытия. В настоящее время «МегаФон.Поиск» доступен в 40 регионах из тех 48, где работает «Лиза Алерт». Постепенно мы наращиваем охват и в течение примерно трех месяцев планируем закрыть все 48 регионов. Это требует от нас сегментации абонентской базы, оценки ее постоянства, адаптации для каждого региона механизма сверки.

Пропавших людей ищет не только «Лиза Алерт», и я искренне  надеюсь на то,  что в этом году мы расширим сотрудничество с Центром поиска пропавших людей. В течение 2020 года мы рассчитываем обеспечить федеральное покрытие. Кроме того, мы считаем этот проект важным и интересным для государства и цифровизации.

- Возможно ли в перспективе сотрудничество с другими операторами для развития этого проекта?

Мы не можем объединить базы, но можем объединить усилия и сделать, например, универсальную витрину для доступа координаторов. Это не очень сложно, и мы готовы сотрудничать в этом с другими операторами.

Любая страховая компания заинтересована в том, чтобы ее клиенты покупали продукты самого широкого спектра. Но стоит ли страховому агенту тратить время на уговоры, если владелец полиса ОСАГО убежден в том, что КАСКО ему не нужен? При том, что другому клиенту, возможно, есть смысл предложить не только КАСКО, но и страховку квартиры и дачи. Как страховщикам угадать наши с вами предпочтения?

В компании «РЕСО-Гарантия» предпочли не угадывать, а построить математическую модель, которая позволит выявить клиентов с высоким уровнем спроса на продукты добровольного страхования среди владельцев полиса ОСАГО. Это поможет сделать кросс-продажи в агентской сети более эффективными.

Сергей Алешкин, руководитель по Data Science страховой компании «РЕСО-Гарантия» и номинант премии CDO Award, делится деталями проекта.

— Есть ли в компании стратегия работы с данными?

Мы только начинаем цифровизацию, и в ее рамках идет подготовка регламентов работы с данными. Сейчас взаимодействие организовано неформально, но все знают, кто за что отвечает и какие задачи должен решать. У нас есть ИТ-подразделение, которое обеспечивает стабильность работы систем обработки данных, есть специалисты, отвечающие за наполнение этих систем и за качество данных, и есть аналитики, которые работают с данными, в том числе строят математические модели.

— Что входит в зону вашей ответственности?

Я отвечаю за построение моделей, их внедрение в бизнес-процессы, поддержание их эффективности, мониторинг, переобучение при необходимости. Мне приходится тесно общаться с коллегами, обеспечивающими хранение и качество данных. Мою деятельность курирует заместитель генерального директора, отвечающий в компании за ИТ и аналитику.

— Каким образом вы выявляете задачи для применения машинного обучения?

«РЕСО-Гарантия» — коммерческая организация, поэтому во главу угла при выборе проекта ставится получение максимального бизнес-эффекта. На решение той или иной задачи может быть получен запрос от бизнеса, или же мы сами в процессе анализа данных можем обнаружить интересную зависимость и предложить бизнесу реализовать модель на ее основе. Но всегда запуску проекта предшествует анализ его окупаемости. Мы люди творческие, нам интересно экспериментировать с данными, но, приоритизируя проекты, мы исходим из того, что получит компания от внедрения конкретной модели.

— Как возникла идея проекта в области кросс-продаж?

Наиболее массовый продукт на рынке страхования — полис обязательного автострахования ОСАГО. Например, среди клиентов РЕСО порядка 15 млн человек покупают такие полисы. Но страховой компании нужно продавать и продукты добровольного страхования — полисы КАСКО, страхования имущества и др. Поэтому была поставлена задача увеличить кросс-продажи клиентам ОСАГО. Однако далеко не все они расположены покупать другие полисы.

Мы стали работать над выявлением кластеров клиентов с потенциально наибольшим спросом на продукты добровольного страхования. Значительная часть продаж компании идет через агентскую сеть. В процессе общения страховой агент может пропустить того самого покупателя, которому стоит предложить полис добровольного страхования, или сделать предложение формально и в результате упустить потенциального клиента.

Мы задумались над тем, чтобы создать модель, которая выявляла бы не просто клиентов ОСАГО с высоким спросом на продукты добровольного страхования, а именно тех из них, кто, скорее всего, еще не получал предложения от конкретного агента. То есть модель может сделать «работу над ошибками». Среди агентов есть новички, которые еще не научились всем тонкостям общения. Но и опытные агенты с большими портфелями тоже нуждаются в помощи, потому что им физически сложно уделить должное внимание всем своим клиентам. В зависимости от характеристик агента модель определяет, каких клиентов с высоким спросом на продукты добровольного страхования он мог пропустить, и передает ему полученную информацию. Анализируются около десятка параметров по каждому агенту: социально-демографические признаки (возраст, пол и т. д.), опыт и предпочтения по продажам страховых продуктов (срок работы в компании, история продаж по типам продуктов и т. д.).

В результате увеличиваются продажи, растут доходы агентов и их лояльность компании, а также доходы компании и лояльность клиентов, потому что они получают качественный страховой продукт, действительно необходимый в данный момент. Проект приносит выгоду всем сторонам.

— Тот самый случай, когда искусственный интеллект помогает сотрудникам, но не заменяет их?

Совершенно верно. Страховая компания работает через агентскую сеть, и наши клиенты, будучи лояльны бренду РЕСО, в значительной степени лояльны страховому агенту — конкретному человеку, с которым они взаимодействуют на протяжении долгого времени и которому доверяют. Поэтому задача заменить агента здесь не стоит — ему надо оказать эффективную помощь в поиске тех клиентов, которые купят продукты добровольного страхования.

Агенты, среди которых много людей в возрасте, отлично знают страховые продукты и умеют с ними работать, но при этом с недоверием относятся к ИТ. Поэтому поначалу проект был воспринят ими скептически, но, по мере работы, они оценили результативность такого подхода и попросили расширить возможности модели. Мы начинали с выявления потенциальных клиентов страхования имущества, затем добавили КАСКО.

— Как строится взаимодействие агентов с системой? Не возникают ли проблемы у не очень восприимчивых к ИТ сотрудников?

Вначале мы реализовали подсказку в момент продажи полиса о том, что данный клиент склонен к покупке определенного дополнительного продукта. Но потом поняли, что большинство агентов хотели бы заранее получать списки таких клиентов, чтобы спланировать свой визит или разговор с клиентом по телефону. Теперь мы готовим эти списки и передаем их агентам через руководителей агентской сети.

Агенты получают рекомендации искусственного интеллекта в CRM-модуле. Опытный специалист работает на страховом рынке несколько десятков лет, знает лично многих своих клиентов, и для него непривычен формат работы, когда ему рекомендуют, к кому обратиться в первую очередь. Для того чтобы пользоваться такой системой, агент должен убедиться на практике в том, что рекомендации действительно эффективны.

В адаптации агентов к работе с новым проектом очень помог опыт Школы РЕСО. У нашей компании одна из сильнейших агентских школ России, и мы задействовали ее потенциал. Все агенты проходят обучение кросс-продажам с помощью современных технологий.

Один из важных компонентов любого внедрения машинного обучения — постоянный мониторинг метрик модели. Если возникает существенное отклонение в качестве, модель необходимо переобучать. Помимо прочего, этот мониторинг позволил нам выявлять агентов, испытывающих трудности в работе с новой схемой взаимодействия с клиентами, и для них было организовано дополнительное обучение.

— На каких данных реализован проект? Какая технологическая инфраструктура используется?

Это полностью наша разработка. Данные собираются в базе данных Oracle, модель разрабатывается с использованием Python. Из методов машинного обучения используется ансамбль моделей, построенных с помощью логистической регрессии и XGboost.

Модель обучалась на данных около 5 млн клиентов. Учитывались социально-демографические данные, характеристики потребительских предпочтений (что страхуют, когда, как часто) и др. Использовалась вся клиентская информация, до которой может «дотянуться» страховая компания. Конечно, у нас меньше сведений, чем, скажем, у банка или телекома, но их было достаточно для того, чтобы обеспечить хорошую точность модели для кросс-продаж.

Сейчас модель еженедельно анализирует порядка миллиона клиентов.

— Какие проблемы возникли в ходе реализации проекта, как удалось с ними справиться?

Нельзя сказать, что мы построили сложную модель. Пожалуй, самое трудное и интересное связано с внедрением. Надо было убедить нашу агентскую сеть в том, что это действительно полезный инструмент, и настроить обратную связь от конечных пользователей. РЕСО регулярно проводит большие встречи руководителей агентских подразделений, съезды агентов. На всех этих мероприятиях мы презентовали модель, лично общались с агентами и их руководителями, рассказывали им о преимуществах системы, отвечали на вопросы. В ходе этого общения мы узнали о ряде важных показателей работы агентов. Их анализ позволил вывести интересные зависимости, в том числе увеличить точность модели.

— Насколько уникален такой сервис для страховой отрасли?

Уникальность нашего подхода — не в модели, а в процессе взаимодействия агентов с моделью. Строить модели, которые ищут клиентов с высоким спросом на те или иные продукты для кросс-продаж, пытаются большинство страховых компаний, но обычно ставка делается на роботизацию процесса. Наш проект отличает высокая степень вовлеченности людей — агентов и их руководителей. Не менее важна и постоянная обратная связь, которая позволяет, с одной стороны, совершенствовать модель, а с другой — делать более эффективной работу сотрудников.

— Как долго система находится в продуктиве? Каких финансовых преимуществ и качественных улучшений удалось добиться за это время?

Система активно применяется с середины 2019 года в 200 филиалах в 70 регионах России, ею пользуются около 3,5 тыс. страховых агентов.

По нашим данным, за это время в 10 раз выросла эффективность кросс-продаж благодаря снижению трудозатрат агентов и повышению результативности их работы. Декабрь и январь показали существенный рост продаж продуктов добровольного страхования. По прогнозам на 2020 год, 18% дополнительных сборов по страховым продуктам, к которым применяется модель, будут получены именно благодаря ее использованию.

Мы построили комплексное решение на базе машинного обучения, которое, с одной стороны, хорошо интегрируется в существующую технологию продаж, а с другой — создает новую ценность для компании с точки зрения расширения возможностей кросс-продаж и повышения эффективности агентской сети.

— Каковы планы по развитию системы?

Мы получаем очень много заявок на расширение перечня страховых продуктов, охваченных моделью, и планируем развивать аналогичные проекты для кросс-продаж по другим направлениям работы компании.

Сейчас также разрабатывается проект на базе машинного обучения для Школы РЕСО. Очень важно оценить потенциал человека в роли страхового агента на этапе рекрутинга, чтобы можно было сосредоточить усилия на обучении наиболее талантливых сотрудников, удерживать их у себя и развивать. Мы делаем модель, которая будет искать таких кандидатов, а также выявлять их среди претендентов, которые к нам уже обратились.

Опорной точкой при реализации любых цифровых инициатив являются данные. Практически все компании осознают это — не случайно проекты, направленные на управление данными, становятся все более распространенными, особенно в крупных организациях.

Ситуация существенно усложняется, когда речь идет о компаниях, в процессе своего развития столкнувшихся с поглощениями других бизнесов. Инвестировать огромные средства в унификацию унаследованного ИТ-ландшафта готовы далеко не все. Однако проблема с данными в этих условиях становится вдвойне критичной, и решать ее необходимо.

Как управлять данными такого гиганта, как ВТБ? Светлана Бова, CDO (Chief Data Officer), управляющий директор — вице-президент банка ВТБ и номинант на премию CDO Award 2020, рассказывает об используемых подходах и первых результатах.

— В чем суть реализуемого ВТБ проекта?

В конце прошлого года в рамках программы трансформации ВТБ мы запустили инициативу по управлению данными. В ходе ее проработки и конкретизации идей, которые мы собираемся реализовывать, были обозначены три направления работ. Первым из них стало внедрение функции Data Governance, вторым — построение архитектуры для работы с большими данными. Третье направление — это модернизация платформы данных, рефакторинг хранилищ, которые мы исторически унаследовали при слиянии ВТБ с Банком Москвы и ВТБ24, и создание целевого единого хранилища данных. Эта программа рассчитана на три года.

Суть направления Data Governance заключается в разработке стратегии управления данными и внедрении функционально-ролевой модели участников процесса управления данными. В мировой терминологии такой подход известен как data stewardship — парадигма концепции владения данными: каждое подразделение обладает ответственностью за определенную область данных, а потребители могут запрашивать данные и выставлять свои требования к ним — к их качеству, доступности, актуальности, скорости доставки.

— Каковы первые шаги?

Мы начинаем с фундамента: выстраиваем бизнес-глоссарий — репозиторий терминов, которыми банк оперирует в своей деятельности. По предварительным расчетам, уникальных терминов в банке больше 12 тысяч. При таком объеме сделать даже «перепись населения» — довольно трудоемкая задача. А вести вручную и поддерживать в актуальном состоянии весь список терминов практически невозможно. Поэтому мы инициировали проект по внедрению специализированного промышленного решения Data Governance на базе решения Informatica Axon. В рамках проекта за семь месяцев было развернуто три модуля, первым из которых и стал бизнес-глоссарий. Сейчас производится его поэтапное заполнение: на данный момент в нем около 800 терминов, в дальнейшем планируем добавлять по 1,5–2 тыс. атрибутов в год. Это достаточно трудоемкий процесс: мало найти термин и нормативную базу — важно согласовать его между подразделениями, обеспечить его одинаковое понимание и единообразное описание.

Бизнес-глоссарий по сути стал «навигатором по данным». Пользователь, осуществляя поиск термина в бизнес-глоссарии, получает четкий маршрут и ответы на вопросы:

• Что означает запрашиваемый термин?
• Кто за него отвечает, являясь владельцем данного атрибута?
• В каких ИТ-системах атрибут встречается в ландшафте банка?
• Какие требования к его качеству выставляются и какие проверки качества данных для него существуют?

Также отдельным компонентом является Enterprise Data Catalog, позволяющий осуществлять связь между бизнес-термином и его физическим расположением в ИТ-системах с визуализацией потоков данных между ИТ-системами. Данный инструмент крайне полезен для ускорения производственного цикла разработки прикладного ПО, а также для обучения новых специалистов при погружении в специфику ИТ-ландшафта.

Третий важный модуль касается мониторинга качества данных. Мы ввели специальные метрики и с их помощью начали качественно замерять уровень «здоровья данных». Уже в текущем году приступили к разработке системы мотивации и KPI по качеству данных.

— Почему в банке решили заняться вопросами управления данными? Что не устраивало в существующей ситуации?

После объединения банков подверглись слиянию ИТ-ландшафты, нормативные базы и процессы, поэтому возникла необходимость систематизировать знания о данных, поскольку поиск информации занимал довольно много времени. Кроме того, очень длительным было, например, согласование несколькими подразделениями одного и того же показателя, получаемого из различных витрин и отчетов разных хранилищ данных. Хотелось значительно сократить сроки получения аналитики и выверки отчетности.

За долгие годы во всех банках, вошедших в состав обновленного ВТБ, было реализовано множество разрозненных аналитических проектов. В итоге появились различные витрины данных для расчета одних и тех же показателей в интересах разных подразделений. Подобное дублирование информации в масштабах банка обходилось дорого. И чем больше систем появлялось, тем больше затрат требовалось на их поддержку.

Кроме всего прочего, колоссальное время занимал анализ причинно-следственных связей при разборе инцидентов с данными. Исходя из своего предыдущего опыта, могу с уверенностью сказать, что при наличии Data Governance и автоматического выполнения data lineage (визуализации потоков данных между системами с шагами преобразований данных) затраты на анализ инцидентов с данными сокращаются на 40%. Примерно на столько же сокращается фаза анализа в проектах реализации нового функционала информационных систем — просто за счет наличия актуальной карты потоков данных.

— Этот проект не только технологический — у него достаточно сложная организационная составляющая. Масштаб предполагаемых изменений очень велик. Как заставить меняться такого тяжеловеса?

Как известно, слона рекомендуется есть по частям. Можно выделить несколько шагов. Во-первых, был создан коллегиальный орган с делегированием в него представителей высокого уровня от каждой вертикали для погружения в тематику и совместной проработки целей и задач, а также для расчета бизнес-эффекта проекта. Особое внимание мы уделили формированию перечня конкретных локальных проблем каждого подразделения, связанных с данными, которые используются в его работе. Люди должны были почувствовать практическую ценность от внедрения инициативы по управлению данными. Был составлен список практических кейсов, касающихся качества данных, их доставки, унификации терминологии показателей отчетности. Мы ранжировали эти задачи и выбрали для первого внедрения в рамках бизнес-глоссария три кейса от различных подразделений.

Затем перешли к изменениям в процессной части, так как мало провести разовую инвентаризацию актива — крайне необходимо вплести практики управления данными в процессы изменений продуктов, процессов, ИТ-ландшафта банка. Нам предстоит внести изменения в модель производства ИТ-решений, реализовать порядок взаимодействия подразделений при анализе и решении инцидентов качества данных.

И наконец, еще одна важная миссия, которая должна быть в центре внимания любого CDO, — просвещение. В разных подразделениях разный уровень компетенций, да и необходимость в новых знаниях не всегда бывает очевидной. Так как тема новая и вообще концепция Data Governance еще не сильно распространена в России, мы сделали очень неплохой курс очного и дистанционного обучения. Теперь каждый сотрудник может повысить свой уровень компетенций в области управления данными.

Также мы наладили выпуск регулярного внутреннего новостного дайджеста «Всё о данных», где публикуем интересные факты из мировой практики в области работы с данными, а также информацию о внутрибанковских проектах, касающихся работы по гармонизации данных. Так мы вносим свой вклад в формирование культуры и распространение знаний об управлении данными.

— С какими проблемами пришлось столкнуться при реализации проекта? И каких было больше — организационных или технологических?

Конечно же, организационных проблем было больше. С технологиями всегда проще.

Уровень зрелости в подразделениях изначально был различным, и это осложнило ход реализации проекта, ведь программу вовлечения участников пришлось дифференцировать. Размер организации подразумевает наличие большого количества звеньев в принятии решений и при трансляции информации, что достаточно существенно влияет на сроки выполнения этапов внедрения инициативы по управлению данными.

Культура у подразделений тоже разная. Различна и готовность к изменениям: есть весьма консервативные блоки, а есть очень адаптивные и инициативные. В результате динамика работ по идентификации атрибутов, унификации терминов, запуску системных процедур повышения качества данных была практически индивидуальной для каждого владельца данных.

Технологические проблемы связаны в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Так как внедряемая система управления данными предполагает связь с системами аналитического контура, то основные технические трудности были как раз на уровне интеграции.

— Data Governance — это сложно и наукоемко. Можно ли изложить стратегию управления данными в нескольких фразах, понятных обычному потребителю?

Понятие Data Governance, пришедшее из зарубежных практик, действительно имеет достаточно много сложных и весьма витиеватых интерпретаций. В рамках нашей организации принята следующая терминология: управление данными — комплекс организационных и технических мероприятий, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного стратегического актива.

С практической точки зрения можно выделить несколько ключевых моментов.

У каждого класса данных должен быть владелец данных, ответственный за их качество, методологию расчета и поддержание в актуальном состоянии карт потоков данных в ИТ-ландшафте.

Внедрение «навигатора по данным» в формате специализированного решения — бизнес-глоссария — позволит значительно сократить время на поиск данных.

Существенная модернизация систем аналитического контура — хранилищ данных и комплекса инструментов по работе с большими данными, инструментов BI self-service analytics — призвана обеспечить высокую доступность оперативных и достоверных данных для бизнеса. Наконец, важно наращивать компетенции в бизнес-подразделениях по управлению данными и по работе с большими данными посредством специализированных образовательных программ для сотрудников и участия в практических проектах.

— Что собой представляет созданная инфраструктура для работы с данными?

Что касается инструментов для управления данными, мы выбрали Informatica Axon для ведения бизнес-глоссария и Informatica Enterprise Data Catalog (EDC) для отрисовки карты потоков данных. Одна из технологических сложностей работы EDC заключается в том, что далеко не для каждой системы, особенно сильно кастомизированной, решение способно в автоматическом режиме выстроить карту потоков данных. Для этого при написании процедур ETL необходимо следовать определенным стандартам кодирования.

Что касается моделирования и работы с данными, у нас есть определенное количество унаследованных хранилищ, существует стек для аналитики больших данных на Cloudera Hadoop, а также большой парк различных аналитических библиотек — мы опробовали практически все, что есть на рынке, и часть из них внедрили в свою работу.

— У вас используется смесь открытых и проприетарных решений. Есть ли политика в этой области?

У нас гибридный подход. По ряду направлений мы не можем и не будем использовать открытые платформы. Банк должен гарантировать максимальную стабильность работы своих систем. Мы не можем полностью перейти на open source. Но в отдельных случаях это вполне оправданно, и у нас проприетарные и открытые сегменты даже несколько разделены в ландшафте. Наша команда big data, работающая с открытыми решениями, выделена в инфраструктуре со своим стеком решений.

Дешевизна открытых платформ — в некоторой степени иллюзия. Для банка критически важны наличие поддержки, ее стабильность и четко определенное соглашение об уровне услуг. Open source с такими условиями становится вовсе не бесплатным.

— Говоря о целевой архитектуре, вы упомянули хранилище, но ничего не сказали об озере.

Мы оперируем понятием «платформа данных», которое включает в себя и ODS (оперативное хранилище данных), и реляционное целевое единое хранилище, BI-приложения и различные инструменты для работы с большими данными, что, собственно, в общеизвестной практике и называют «озером данных».

— Чего вы уже добились и чего ожидаете добиться в обозримом будущем?

Мы вывели систему управления данными в промышленную эксплуатацию, к ней имеют доступ все сотрудники банка. Очень многих удалось обучить, и они начали пользоваться системой. Это серьезное достижение.

В дальнейшем будем масштабировать и наполнять бизнес-глоссарий, закреплять ответственных за каждый атрибут. Проверка качества данных будет поставлена на конвейер.

Задача на будущее — масштабирование созданных решений и методологических практик на уровень группы ВТБ.

— Создание платформы управления данными должно окупиться? Или такая задача не ставится?

Да, эта платформа должна окупиться. Бизнес-кейс построен на оптимизации процессов анализа и разработки, разбора инцидентов, на сокращении времени на сверку данных. И не надо забывать об инфраструктурной составляющей: в рамках большого проекта по модернизации платформы данных мы все-таки переносим ее часть на open source, снижая стоимость хранения и обработки.

— Готов ли бизнес к тому, чтобы стать data-driven?

Следует разделить такую «готовность» на желание и способность к реальному действию. Желание есть, и осознание того, что изменения в этом направлении жизненно необходимы, тоже есть. Стоит отметить, что в «Стратегии банка — 2022» выделен отдельный блок, посвященный непосредственно работе с данными. А осознание необходимости изменений сотрудниками, которые участвуют в рутинных ежедневных операциях, и осуществление этих изменений — процесс, к сожалению, небыстрый и зачастую болезненный.

— Какие мероприятия по изменению культуры вы проводите?

Безусловно, одно из самых важных — это трансляция ценностей на уровне правления, топ-менеджмента. На операционном уровне — образовательные бизнес-завтраки и курсы обучения.

Очень эффективный подход — персональные истории успеха. Мы выпускаем новостной дайджест, где красочно освещаются назначения владельцев данных и первые результаты их работы. Очень важна персонализация — с фотографиями и описанием заслуг. Это хорошо работает и на мотивацию, и на культуру.

Но лучше всего, когда люди начинают понимать, что ведется реальная работа для решения их проблем, когда видят действительную пользу от работы владельцев данных, менеджеров по качеству данных и офиса CDO. Надо признать, что нам предстоит еще долгий путь.

— Какие стратегические проекты, основанные на данных, являются знаковыми для ВТБ?

В 2019 году банк запустил несколько крупных партнерских проектов с использованием данных.

Так, создается совместное с «Ростелекомом» предприятие, направленное на работу с пользовательскими данными. Его задачами станут создание продуктов и оказание услуг на основе анализа больших данных, в том числе с применением технологии искусственного интеллекта. «Жилищная экосистема ВТБ» — знаковый проект, совместивший все виды услуг и сервисов по приобретению, аренде и дальнейшему обустройству жилья для граждан. Отдельно следует упомянуть «Лайфстайл платформу», объединяющую различные сервисы: вызов такси, доставку еды, бронирование ресторанов, покупку билетов и т. д.

Все более ценным становится подход, когда банк выходит из контура привычных задач и использует данные для разработки различных сервисов в партнерстве с компаниями из смежных сфер, обеспечивая удобство для клиентов и расширяя свою клиентскую базу. Это наши стратегические проекты.

Одной из болевых точек сферы информационной безопасности является разрозненность специализированных инструментов. Им не хватает связности, позволяющей объединить получаемую информацию и обеспечить ее эффективное использование. В компании «Энджиар Софтлаб» — стартапе, занимающемся разработкой программных продуктов, создали решение Dataplan, способное значительно усилить базовый функционал решений по информационной безопасности и других информационных систем. С его помощью получается выявлять аномалии в данных и предоставлять доказательную базу при проведении расследований. Айк Татевосян, руководитель отдела аналитических систем «Энджиар Софтлаб» и претендент на премию CDO Award 2020, рассказывает о предпосылках и истории создания этого решения.

- Что наблюдается на рынке систем информационной безопасности, почему пришли к желанию разработать решение?

В любой крупной компании используется огромное количество разрозненных ИБ-решений: сетевые экраны, антивирусы, решения для предотвращения утечек (DLP), системы управления событиями информационной безопасности (SIEM) – каждая со своими результатами работы. В комплексе этих данных сложно найти какую-то закономерность и понять, что из них является инцидентом, где именно произошло нарушение.

Часто единым центром компетенций и обработки информации выступали SIEM. Но у них есть свои недостатки – например, они работают в рамках одного оперативного дня, и из-за этого для них характерно отсутствие причинно-следственной связи между событиями и возможности ретроспективного анализа. Решение инцидентов напоминает латание дыр без устранения причин их появления.

Мы считаем, что правильным и полезным является объединение нескольких источников данных: ИБ-решений и других компонентов ИТ-инфраструктуры: операционных систем, систем хранения данных, баз данных и т.д. Для решения этой задачи мы попытались собрать необходимый технологический стек, чтобы выявлять аномалии в данных, которые невозможно описать условными правилами. Когда мы подбирались к решению этой задачи, то поняли, что любая аналитика должна основываться на каких-то сущностях. Для нас такой сущностью стал пользователь, совершающий действия, поэтому целью стало построение профилей поведения пользователей.

- Что в самых общих чертах представляет собой продукт?

Dataplan – это аналитическая платформа для работы с большими данными и с возможностью применения машинного обучения. Ее первой практической областью применения стала сфера безопасности, где она позволяет сократить время работы аналитиков на принятие решений. Время реакции в ИБ – самый дорогой ресурс, а сокращение времени реакции на инциденты – это сохранение репутации и денег.

- Таких решений нет на рынке? Неужели никто до этого не додумался?

На зарубежном рынке есть решения класса User Behavior Analytics (UBA), позволяющие проводить поведенческий анализ деятельности пользователей. UBA-решения иностранных вендоров, представленные в России, имеют довольно высокую ценовую планку. Поскольку российский рынок ИБ невелик, то вложить несколько миллионов долларов в решения, эффект от которых не всегда ощутим, мало кто готов – такие инвестиции очень трудно обосновать.

Среди отечественных решений аналогов практически нет, но есть довольно много стартапов, пытающихся работать в этом направлении, и мало компаний, которые уже что-то разработали. Кроме того, часто у заказчиков работают собственные команды data science, но речь идет о разовых проектах, и цель по созданию законченных решений им не ставится.

Есть DLP-системы, в которых заявлено машинное обучение, но оно замкнуто в рамках конкретного решения. Мы пытаемся строить универсальный продукт, который можно подключать к неограниченному числу систем и не замыкаться в рамках одной платформы. Наша цель состоит в том, чтобы анализ был основан на действиях пользователя и на дополнительных факторах: его должности, подразделении, рабочей станции, приложениях, в которых он работает. После комплексной интегральной оценки можно более уверенно выявить пользователей, чье поведения является аномальным и, возможно, требующим проведения расследований.

- Что стало отправной точкой для создания системы?

История началась с того, что у одного из крупных заказчиков приобретенная зарубежная платформа «не взлетела». Ее долго настраивали, обновляли, потратили на это массу средств, но ситуация была далека от идеала.

Интегратор хотел закрыть работы и предоставить заказчику обещанный результат и доверил нам доработку решения. Тогда у нас и получился свой расширенный UBA, позволивший «приземлить» платформу и удовлетворить потребности заказчика. Клиент остался доволен, но надо понимать, что это были «костыли» — полученное решение не выглядело как конечный продукт, хотя и решало проблемы.

После решения этой задачи у нас сформировался определенный технологический стек, а также понимание сценариев, которые возможно реализовать с помощью полученной платформы. Мы увидели в созданном продукте самостоятельную ценность. Сейчас мы его завертываем в красивую обертку и делаем тиражируемым.

- Что представляет собой созданное решение с технической точки зрения?

На текущий момент архитектура решения достаточно сложная, в связи с чем мы разделяем ее на четыре основных компонента.

Первый (Dataplan Processing) является компонентом, отвечающим за сбор, фильтрацию, агрегацию и нормализацию событий. С его помощью данные приводятся к единому формату для создания витрин данных, с которыми можно вести аналитическую работу.

Второй (Dataplan Storage) отвечает за высокоэффективное распределенное хранение данных, предназначенное для онлайн обработки аналитических запросов (OLAP). Речь идет о больших данных, порядок которых при пиковой нагрузке достигает 100 тыс. событий в секунду, поступающих в среднем на боевые инсталляции системы. Вопрос архитектуры обсуждается с заказчиком и отчасти зависит от его потребностей.

Третий компонент – аналитика (Dataplan Analytics). Машинное обучение реализовано на скриптах языка Python.

Наконец, созданные модели отображаются с помощью компонента Dataplan Visualization, представляющего собой BI-инструментарий. Это рабочее место специалиста, которое является инструментом поддержки принятия решений и реализует визуализацию ключевых метрик и показателей результатов аналитики.

- На каких компонентах построена система?

Практически все инструменты, которые брались за основу, являются open source. Во-первых, в ходе создания решения решалась вполне конкретная задача, требовалось сделать «дешево и сердито». Во-вторых, в область открытых решений сейчас смещается политика очень многих компаний.

- Какую роль вы выполняете в компании?

В рамках компании выступаю в роли владельца продукта Dataplan. Являюсь евангелистом использования больших данных в общении с заказчиками, выявляю кейсы и продумываю их решение.

Мой типичный рабочий день – выезд к заказчику, проведение пресейлов и презентаций, выявление потребностей, попытка интерпретации бизнес-задач в технические задачи, оценка сроков, а также координация работы моей команды, донесение до неё новых планов по развитию продукта и отзывов о результатах командной работы.

Главный KPI, за который мне приходится отвечать перед руководством – удовлетворенность заказчика решением.

- Потребность в подобных решениях высока?

Конечно же, мы оценивали потребности рынка, собирали пожелания других заказчиков. Одна из них – автоматизация работы аналитиков, работающих с системами безопасности. Им важно понимать причинно-следственные связи, выявлять сложные сценарии атак. Например, вирусное заражение, которое антивирус может обнаруживать изо дня в день, каждый раз успешно его зачищая. Но сама проблема находится в автозагрузке, которая его порождает. Классические системы работают в реальном времени, им катастрофически не хватает ретроспективной аналитики, в том числе встроенных алгоритмов машинного обучения.

Изучив потребности потенциальных заказчиков, мы поняли, что задачи в области ИБ принципиально ничем не отличаются от бизнес-задач, часто стоящих перед компаниями. Случалось, и так, что мы предлагали решение офицерам информационной безопасности, а те приглашали руководителей проектов и бизнес-аналитиков и демонстрировали им возможности платформы. Поэтому мы уже перепозиционировали решение с первоначального UBA на xBA, где x – классическая неизвестная из математики, поскольку нам не важно, какая именно сущность будет подаваться на вход системы.

- Готовы ли компании тратить деньги на это?

Компании понимают, что в центре всего стоит человек, и именно поэтому тема поведенческой аналитики в ИБ начала так хорошо «заходить». Именно действия сотрудников – преднамеренные или нет – наносят наибольший ущерб, и это факт.

Так, например, наш продут помог сети московских кафе выявить сотрудников, причастных к махинациям с картами лояльности, когда при оплате счета наличными часть суммы оплачивалась баллами с карты лояльности сотрудника, а экономия уходила в карман недобросовестных сотрудников кафе.

Компаниям нужны системы поддержки принятия решений. Дефицит квалифицированных кадров – проблема, но еще хуже, что у имеющихся специалистов нет инструментов для анализа данных, упрощения и ускорения своей работы и обоснования своих действий. У компаний накопились данные за длительное время, и они хотят извлекать из них пользу.

- С какими проблемами пришлось столкнуться? Обычно это данные…

Да, качественные и хорошо подготовленные данные – мечта любого дата-сайентиста, позволяющая избавиться от рутины и заняться творчеством. Общая проблема заключается в том, что когда компания занимается сбором данных, то далеко не всегда понимает, зачем. Как следствие, данные хранятся обрывочно, они далеко не полные, и их нормализация может занимать много времени. Даже если мы видим, как задачу можно решить, часто оказывается, что нужных данных просто нет. Мы предлагаем включить сбор данных из необходимых источников хотя бы на пару месяцев и возвращаемся, когда нам есть с чем работать.

Кроме того, в сфере ИБ так повелось, что люди изначально не слишком доверяют и друг другу, и новым решениям. Часто заказчики предлагают нам пробные задания, не описывая конкретной задачи. Например, речь может идти о поиске в предоставленных данных каких-либо аномалий. Если наши выводы подтверждают имеющиеся факты, компания идет на диалог.

- То есть речь идет об обучении без учителя?

Нынешняя ситуация в нашей сфере – любые алгоритмы машинного обучения изначально должны обучаться без учителя и показать какой-то результат. Когда к заказчикам приходят с терминами big data, machine learning и обещают показать новые знания, естественным желанием является их проверить. К математическим «фокусам» привыкли относиться с недоверием.

Но дело не только в недоверии, но и в том, что компании сами понимают, что могут не обо всем знать. Парадигма остается прежней: специалист должен быть экспертом в области безопасности, глубоко понимать процессы, чтобы уметь интерпретировать имеющиеся данные. Однако от этой парадигмы мы отходим и пытаемся показать, что алгоритмы машинного обучения сами могут «подсветить» любые аномалии, а задача человека – дать заключение по ним. Чем больше человек будет работать в системе и принимать решения в ней, тем «умнее» будут становиться модели, обучаясь на действиях пользователя.

- Каких результатов позволяет добиться решение?

По внешним угрозам – выявление компрометации учетных записей и активов, утечек критичных данных и эксплуатации уязвимостей. По внутренним угрозам – злоупотребление выданными правами, инсайдерская деятельность, несоответствие используемых учетных записей. Однако эти эффекты могут видоизменяться в зависимости от специфики заказчика и его процессов. В одном из госучреждений в ходе пилотного проекта удалось выявить пользователей с аномальными правами доступа в результате их перемещений между подразделениями и рекурсивные вирусные заражения, когда из-за одного компьютера заражался весь сегмент сети.

Что касается ускорения работы аналитиков, то тут эффекты слишком индивидуальны. Зачастую речь идет о том, что некоторые из действий становятся принципиально возможными. В одном из крупных ретейлеров в день создавалось по 10 тыс. инцидентов безопасности по каждому из сценариев, и таких сценариев были сотни. Фактически речь шла о ручной обработке этих событий, что невозможно. Мы автоматизировали процесс проверки этих инцидентов.

Пробиваясь к заказчикам со своими пилотами, мы показали коммерческую ценность своих решений. У нас есть 20 клиентов, довольных проведенными пилотными проектами, пятеро из них уже готовы начать полноценное внедрение. В 2020 году начнется активное масштабирование наших решений. Про какие-либо конкретные цифры можно будет говорить позже.

- А в реальном времени какие-то задачи решаются?

У нас были пилоты, в которых это требовалось. Но мы совершенно точно не считаем это своей главной задачей. Ретроспективный анализ приносит больше пользы и имеет гораздо больший «вау-эффект» для заказчиков. И что немаловажно, эта ниша на рынке сейчас гораздо свободнее.

- В каком направлении будет развиваться платформа Dataplan?

Направлений для развития возможностей платформы очень много, на текущий момент мы активно прорабатываем функциональный модуль, основанный на прогнозном мониторинге (predictive monitoring).

Также есть исследовательские работы и попытки выход за пределы ИБ. Одна из ближайших перспектив – HR как наиболее понятная и близкая нам тема, в разрезе задачи по оценке персонала. Если подойти к своим специалистам с популярной оценкой «360 градусов», которую применяют к клиентам, можно получить массу полезных результатов. Например, оцифровывая входящих кандидатов и понимая, что собой представляет коллектив, получится подбирать более сплоченную команду.

В 2018 году компания «Северсталь» создала платформу Промышленного интернета вещей (IIoT) и на ее основе начала работы по оптимизации производственных процессов. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital, уже рассказывал о построенной в «Северстали» платформе IIoT и ее задачах. Тогда мы беседовали с ним, анонсируя его выступление в рамках форума «Управление данными — 2019» .

Сегодня мы представляем Доната Фетисова как номинанта на премию CDO Award 2020, и речь пойдет в большей степени о достигнутых результатах и культурных изменениях, происходящих в компании.

— Чем металлурги могут выделиться среди конкурентов? При чем тут данные и как «Северсталь» себя видит в работе на этом направлении?

Начать нужно с того, что главная задача «Северстали» — рост эффективности: стремление иметь не максимальный оборот, а как можно больший показатель EBITDA. Поэтому одним из направлений происходящей сейчас трансформации является активное создание цифровых продуктов, использование данных и алгоритмов машинного обучения. И об этом мы регулярно говорим на встречах с инвесторами. Максимальное использование всех возможностей применения искусственного интеллекта как альтернативы «человеческим» решениям — вот что позволит нам выделиться. Да, для этого необходимы данные, много данных, и мы делаем все, для того чтобы получить как можно больше информации о производственных процессах, причем детальной.

Несколько лет назад мы определились со стратегией развития: выбираем направления, где с помощью технологий можем повысить эффективность процессов. И мы по-прежнему ее придерживаемся. И сейчас видим, что не только внедрение прорывных методов в производство и перестраивание взаимодействия с клиентом может дать результат. Мы можем улучшить показатели на несколько процентов за счет использования нестандартных (пока что) для металлургии средств оптимизации.

— Существует ли специфическая цифровая культура? Что в компании нужно менять и что делаете вы?

Да, культура существует, иначе бы о ней столько не говорили. Наши же действия можно уложить в три пункта.

Сбережение данных — это обязательное, «гигиеническое» правило, которое мы пытаемся продвигать повсеместно. Это не менее важно, чем бережное отношение к электричеству или воде. Мы стараемся сохранять данные, особенно возникающие в производстве на нижнем уровне – сенсоры сами по себе информацию не накопят. А ведь именно здесь зачастую случаются самые интересные открытия. Тщательно собирая данные, мы закладываем фундамент для новых знаний. Может показаться смешным, но даже сам факт признания этого — серьезный сдвиг в мировоззрении людей. Многие относятся спокойно к потере потенциально полезных данных — надеются, что в работе им помогут данные более высокого уровня, однако их не хватает для выявления закономерностей в самом производстве.

Второе направление усилий — повышение общего уровня понимания того, как строится работа с информацией. Именно это позволяет сблизить дата-сайентистов с бизнес-заказчиками и сильно ускоряет процесс, поскольку преодолевается разрыв между ними. Мы создаем внутренние курсы по работе с данными. Например, сотрудник может на примере производства, на котором он работает, понять, что такое потоки данных, какие можно использовать технологии. Осознав это, люди начинают говорить с нами на одном языке, и это формирует здоровую атмосферу для реализации проектов.

Наконец, мы пытаемся вовлекать сотрудников в работу по схеме самообслуживания. Разумеется, многие бизнес-пользователи хотели бы, чтобы им продолжали выгружать данные в привычный Excel. Но поскольку речь идет о больших данных, это, конечно, невозможно. Поэтому мы их обучаем работать именно с данными из «озера». Чтобы они могли их использовать: кто-то через Power BI, кто-то через веб-интерфейс Hadoop.

Эти три шага — важные моменты в продвижении культуры data-driven.

— Но ведь для вовлеченности пользователей мало дать им данные — важно, чтобы они захотели работать по-новому.

В своих проектах мы показываем, как это можно делать. Кроме того, в рамках обучения Data Governance мы займемся описанием данных и сейчас выбираем инструмент для создания каталога данных. Люди не только узнают, что можно делать с данными, но и будут иметь своеобразную «Википедию» по ним. Любые имеющиеся в компании данные должны быть доступны пользователям.

— Как вы пришли к проекту Data Governance?

Все организации проходят определенные стадии зрелости. Первая из них — когда приходит понимание того, что данные нужно централизованно собирать. На этом этапе как раз начинают создавать озеро данных. В этот момент в компании появляется узкая группа специалистов, умеющих это делать, и они жаждут «поиграться» с этими инструментами. Такая ситуация может существовать довольно длительное время. Но рано или поздно все начинают осознавать, что не должен управлять данными лишь этот небольшой коллектив — нужно вовлекать гораздо больше людей. Для реализации полноценного Data Governance необходимо, чтобы владельцы данных участвовали в процессе описания данных и их идентификации. Мы формируем каталог данных, определяем владельцев каждого домена данных и в конечном итоге хотим прийти к ситуации, когда точно известно, какая информация есть в организации, и понятно, с кем можно обсудить объекты и связанные с ними данные.

Нужно не просто научить людей работать с данными и дать им инструменты. Требуется вовлечь их в процесс «культивации» данных — следить за их качеством, доступностью и т. п. Это очень непросто делать, пока люди не воспринимают данные как актив.

— Какие проекты уже удалось реализовать на базе созданной платформы Интернета вещей? За счет чего достигается монетизация?

Финансовые эффекты проявились уже в 2018 году. Но более заметными для внешнего наблюдателя наши проекты стали, когда среди них появились модели управления производством. (Один из таких проектов — регулировка прокатки слябов с помощью алгоритмов машинного обучения. — Прим. ред. )

Монетизация происходит по-разному — не всегда речь идет об управлении агрегатами. У нас есть ряд проектов, направленных на снижение простоев за счет предсказания аварийных ситуаций и планирования ремонтов. Кроме того, хорошие результаты дают проекты, направленные на обнаружение дефектов. Это довольно актуальная тема именно для металлургов: в производстве выполняется много переделов, и на каждом из них есть риски возникновения дефектов, на что клиенты реагируют очень болезненно. Мы создали модель, дополняющую ранее существовавший комплекс и позволяющую немного точнее (а в некоторых случаях и существенно точнее) выявлять дефекты.

Всего мы запустили в эксплуатацию около 15 проектов, касающихся разных аспектов, — прогнозирование необходимости в обслуживании, экономия ресурсов, оптимизация действий, устранения дефектов, ускорение процессов. Все направления, где просматривался очевидный экономический эффект, мы уже охватили. Но у нас еще много площадок для применения новых подходов. Предприятия, вдохновленные нашими результатами, все чаще обращаются к нам.

— Вы пытаетесь оценивать эффективность своих проектов?

Я представляю порядок цифр получаемых результатов. Они не только многократно превышают затраты на работу нашего подразделения, но и заметны в общей прибыли. Надо понимать, что повышение эффективности процессов металлургического комбината даже на несколько процентов может дать финансовый результат, сравнимый с бюджетом средней компании.

— Как происходит отбор и приоритизация проектов? Наверняка кандидатов больше, чем имеющихся ресурсов.

Мы проводим ранжирование в первую очередь по ожидаемому эффекту, так как в деятельности нашего подразделения существует лишь один приоритет — финансовый результат. Именно поэтому приходится все аккуратно считать. Имея перед глазами портфель проектов-кандидатов, напротив каждого из которых стоит число, можно без затруднений решить, на чем сосредоточить силы.

Разумеется, есть и другие факторы, но они скорее относятся к ограничениям: доступность данных, готовность инфраструктуры, наличие времени и ресурсов на площадке у заказчика. Из-за этого некоторые проекты, перспективные с точки зрения ожидаемого эффекта, приходится тормозить, пропуская вперед другие.

Сейчас у нас в очереди не меньше десятка проектов. Причем часто бывает так, что один реализованный проект порождает несколько других. Однако наш коллектив каждый год удваивается, и мы себя чувствуем комфортно.

— Чему вы научились в ходе работы над платформой Интернета вещей? Какие выводы сделали как руководитель?

Основной урок в том, что рост культуры работы с данными напрямую зависит от числа вовлеченных людей. Да, профессионализм коллектива важен, но при плохом раскладе специалисты по работе с данными превратятся в анклав, который будет работать закрыто и к которому остальные не будут даже подходить. Руководитель, начинающий путешествие в мир работы с данными, должен это понимать. Я совершенно четко увидел, что чем больше людей вовлечено, тем быстрее получится добиться результата.

И второе: чтобы количество заказчиков росло, нужно всеми способами менять их сознание, показывая, каких целей можно добиться.

— Что бы вы сделали по-другому, если бы представилась возможность начать заново?

Как известно, история не терпит сослагательного наклонения. Оглядываясь назад, могу сказать, что процесс подготовки инфраструктуры следовало бы начать заранее — это могло бы существенно ускорить многие проекты. Часто задержки возникают вовсе не из-за отсутствия данных, а из-за обидных «мелочей»: недостаточно широкая сеть, нет какого-то помещения, не хватает людей. В некоторых новых проектах по-прежнему приходится решать эти проблемы ситуативно. Однако на первых этапах у нас не было аргументов в пользу таких вложений.

Хочу отметить еще один важный момент: хотелось бы как можно раньше начать накапливать даже не сами данные, а знания о них. Такая задача встает в каждом новом проекте, и внедрение каталога данных на более раннем этапе помогло бы ее решить. Но здесь имеем традиционную дилемму: либо делать продукты по Agile и «приносить быстрое счастье», либо вкладываться в подготовку и откладывать получение результатов на будущее. В современном мире обычно предпочитают первый подход.

Надо сказать, что на первом месте у нас всегда стояло получение эффекта, поэтому все, что мы делали, было довольно последовательно.

— Как вы видите свою роль и роль своего подразделения в развитии «Северстали»?

Я считаю себя евангелистом в двух аспектах: продвижение современных технологий для работы с данными и продвижение самих методик работы с данными. Союз технологий и подходов data science — то, что мы продвигали и будем продвигать.

Вторая важная роль — повышение доступности и прозрачности данных различных подразделений. Да, у нас на первом месте стоит получение финансового эффекта, но на втором — оздоровление ситуации с данными. По мере того как ставки растут, степень готовности данных перестает устраивать компанию. В любых проектах поиск и подготовка данных — это существенная часть работ. Сократив ее, мы сможем в разы повысить скорость реализации проектов.

Нынешнее состояние цифровых предприятий вполне можно было бы охарактеризовать словами известного писателя-фантаста Уильяма Гибсона: «Будущее уже здесь – просто оно еще неравномерно распределено».

В то время как некоторые из них уже погрузились в нирвану гиперскорости, гипермасштабируемости и гиперсвязности, другие все еще борются с разобщенностью инициатив цифровой трансформации, страдая от ударов конкурентов и прочих рыночных сил.

Время расплаты для ИТ-директоров, живущих в цифровую эпоху, еще не пришло, но пространства для маневра у них остается все меньше. Конкуренты активизируют свои усилия в цифровой сфере. В таких условиях ИТ-директора могут и должны принимать конкретные меры к созданию цифрового «предприятия будущего».

Прогнозы, основанные на отчете 'IDC FutureScape: Worldwide CIO Agenda 2020 Predictions', содержат актуальную информацию о технологиях, рынках и экосистемах и призваны помочь ИТ-директорам в понимании будущих тенденций, их влияния на предприятие, а также тех шагов, которые необходимо будет сделать в следующем году для достижения успеха.

1. К 2024 году 80% передовых в цифровом отношении организаций сменят модель «огороженного сада», в которой за все отвечает ИТ-служба, на модель самообслуживания. Предоставление библиотек облачных решений, функций в качестве сервиса (functions-as-a-service, FaaS) и инструментов, которые требуют написания минимального объема программного кода или позволяют вовсе отказаться от него и легко осваиваются даже людьми, не имеющими хорошей ИТ-подготовки, помогает бизнесу быстро реагировать на изменение потребностей рынка без привлечения ИТ-специалистов. Нужны лишь гарантии безопасности и совместимости этих решений.

Для такой трансформации ИТ-директорам необходимо четко представлять себе желаемое будущее состояние, которое определяется совместно с лидерами бизнеса и линейными менеджерами (line of business, LOB) и служит ориентиром для сотрудников предприятия и его партнеров.

Рекомендации

— Инвестируйте в обучение разработчиков проектированию и созданию таких цифровых инструментов, поддерживайте отношения с поставщиками инструментов, используя их опыт.

— Выстраивайте цифровые платформы с данными и API сервисов и микросервисов для создания открытых сред самообслуживания.

— Открывайте лаборатории и центры передового опыта для обмена знаниями между разработчиками LOB-приложений и персоналом ИТ-службы.

2. К 2023 году 65% ИТ-директоров возглавят в своих организациях процесс формирования центров инноваций, обмена передовым опытом и взаимодействия между инженерами всего предприятия. Поскольку в линейных подразделениях активно используются новые технологии и там работают грамотные в техническом отношении руководители и специалисты, ИТ-директору следует превратить ИТ-службу в центр обмена знаниями о цифровых технологиях и передовым опытом, позволяющим выстроить архитектуру и интегрировать цифровые усилия в масштабах всего предприятия. ИТ-директору и персоналу ИТ-службы необходимо заранее продумывать внесение изменений в целях удовлетворения меняющихся потребностей бизнеса, обеспечения поэтапной эволюции ИТ-сервисов и платформ, приобретения персоналом новых навыков и расширения возможностей и влияния ИТ в реальном времени.

Рекомендации

— Совместно с руководителями бизнес-подразделений сосредоточьтесь на создании культуры взаимного обучения и наставничества.

— Разработайте план расширения навыков на каждом из этапов с учетом темпов предполагаемой эволюции.

— Выстраивайте партнерские сети для заполнения пробелов в навыках и компетенциях.

3. Подталкиваемые как ростом киберугроз, так и потребностями в новом функционале 65% предприятий в период до 2023 года намерены модернизировать свои унаследованные системы, инвестировав в новые технологические платформы. Обновление и поддержка унаследованных систем не поспевают за растущими киберугрозами, но модернизация стоит дорого, и убедить руководство бизнеса модернизировать свои системы в свете киберугроз весьма непросто. Более реалистичной представляется реализация нового функционала и возможностей.

Рекомендации

— Подготовьте бизнес-сценарий, отражающий критически важные потребности бизнеса (например, улучшение клиентского восприятия), чтобы оправдать затраты на крупномасштабную замену унаследованных систем.

— Разработайте план оптимизации и модернизации, заручившись поддержкой руководителей линейных подразделений.

— Используйте архитектуры и подходы к разработке, опирающиеся на принцип «безопасность прежде всего» с тем чтобы избежать возникновения новых брешей и слабых мест в системе безопасности.

4. К 2023 году 70% ИТ-служб возьмут на вооружение стратегию контейнеризации/API, стремясь расширить переносимость приложений и повысить гибкость хостинга. Успешные организации будут проводить стратегии контейнеризации и удвоят усилия, направленные на использование API и микросервисов в целях дальнейшей модернизации, автоматизации процедур, обеспечения независимости вычислительной среды, изоляции приложений, улучшения качества и роста масштабируемости. ИТ-директора, не приемлющие подхода на основе контейнеров, ощутят нехватку гибкости, мобильности и масштабируемости, что в конечном итоге обернется существенной потерей конкурентоспособности.

Рекомендации

— Микросервисы в сочетании с контейнерами должны стать основой архитектурных моделей всех новых приложений.

— Внедряйте и расширяйте концепцию DevOps для непрерывной эволюции.

— Для удовлетворения спроса на получение вычислительных ресурсов по требованию применяйте бессерверные модели и функции, предоставляемые в качестве сервиса.

5. К 2022 году 70% ИТ-служб из строителей и операторов превратятся в проектировщиков и интеграторов цифровых решений, определяя каждый продукт, сервис и процесс. Проблема для ИТ-служб заключается в том, что линейные подразделения, подталкиваемые поставщиками, начнут укреплять свою роль в деле создания и развертывания технологий независимо от получаемой со стороны ИТ-службы поддержки, характер которой также будет меняться. Если руководители ИТ-служб откажутся от смены ролей и ответственности при внедрении технологических решений в линейных подразделениях, последствия для них будут весьма печальными. ИТ-директору гораздо лучше планировать и управлять переходом в тесном взаимодействии с руководителями линейных подразделений.

Рекомендации

— Разрабатывайте цифровую платформу и стратегии API для обеспечения безопасной и быстрой интеграции различных приложений и систем.

— Инвестируйте в глубокие экспертные знания в области проектирования и пользовательского восприятия.

— Создавайте центры передового опыта для выбора и проверки цифровых приложений и инструментов.

6. В период до 2023 года 80% организаций ускорят разработку программных систем. При этом развертывание обновлений и пересмотр программного кода будут выполняться не реже, чем раз в неделю. Многие ИТ-службы уже перешли от методологии водопада к agile-разработке программ (по крайней мере, теоретически), но пока слабо справляются с быстрым внедрением надежного программного кода малыми порциями с целью непрерывного создания новых ценностей для бизнеса. ИТ-службы должны иметь возможность развертывать обновления в еженедельном режиме, даже если это нужно только отдельным приложениям. ИТ-директору необходимо удвоить усилия, направленные на переход к по-настоящему гибкой (agile) разработке и DevOps.

Рекомендации

— Думайте о продуктах и бизнес-результатах, а не о проектах.

— Используйте модульный подход для повышения адаптируемости.

— Ускоряйте внедрение концепции DevOps и непрерывную интеграцию/развертывание, доверяйте подчиненным поиск новых подходов к созданию и развертыванию программного обеспечения.

7. К 2022 году 40% ИТ-директоров в той или иной мере будут возглавлять инновационное направление в своих организациях. Выбор ИТ-директоров в качестве руководителей процесса цифровой трансформации вполне логичен. Они обладают уникальным положением, для того чтобы стать инновационным лидером, глубоко знают цифровые технологии, способны прогнозировать обусловленные использованием новых технологий перемены в бизнесе и, что еще важнее, понимают, как работает бизнес. Руководители ИТ-служб, преуспевшие в роли инновационного лидера, способны убедительно излагать свое цифровое видение и привлекать всех остальных к его реализации. И хотя техническая смекалка по-прежнему является ключевым условием, успех их будет зависеть от умения общаться, выстраивать взаимоотношения и выполнять свои обязательства.

Рекомендации

— Формируйте основу для надежной доставки ИТ-сервисов и профилактики возможных проблем.

— Пропагандируйте цифровое видение, разработанное совместно с руководителями линейных подразделений.

— Выделяйте ограниченные, но существенные цифровые инициативы, демонстрируя их ценность для бизнеса.

8. В период до 2022 года внедрение средств искусственного интеллекта для расширения, оптимизации и ускорения ИТ-операций будет оставаться главной трансформационной инициативой для 60% корпоративных ИТ-служб. Проведенный IDC в августе 2019 года опрос настроений ИТ-директоров показал: представители 54% организаций убеждены в том, что искусственный интеллект представляет значительную ценность для автоматизации ИТ-операций и оптимизации ИТ. Задача ИТ-директоров заключается не в том, чтобы автоматизировать ИТ, а в том, чтобы сконцентрироваться на возможностях, сулящих наибольшую отдачу. ИТ-директор должен начать с определения своих стратегических целей, к которым может относиться сокращение затрат, перегруппировка талантов, повышение пропускной способности ИТ или что-то другое.

Рекомендации

— Для увеличения числа специалистов по искусственному интеллекту поддерживайте партнерские отношения с университетами, консорциумами, стартапами и прочими организациями и объединениями.

— Автоматизируйте операции и инициативы в области искусственного интеллекта для объединения разрозненных компонентов и рационализации процессов.

— Сделайте качество обслуживания ключевым показателем эффективности операций автоматизации.

9. В период до 2024 года 75% ИТ-директоров пересмотрят доступные им ресурсы, включая бюджеты, активы и таланты. Выделение ресурсов в реальном времени и обеспечение гибкости предприятия приведет к огромному сокращению затрат. Стремясь ускорить процессы и повысить их гибкость, ИТ-директора сталкиваются с самыми разными препятствиями. Наиболее существенным из них, пожалуй, является отсутствие гибкости при выделении необходимого финансирования и ресурсов. Возможность гибкого выделения ресурсов превращается в серьезное конкурентное преимущество ИТ-директора. Это необходимая основа для достижения настоящей организационной гибкости, которая в списке приоритетов ИТ-трансформации занимает у ИТ-директора одно из ведущих мест.

Рекомендации

— В тесном взаимодействии со службой управления персоналом и финансовым подразделением создавайте новые системы найма, управления эффективностью и бюджетирования.

— Поддерживая связь с руководителями линейных подразделений, создавайте технологии синхронизации ресурсов и бюджетов ИТ-службы и линейных подразделений.

— Используйте гибкие циклы для непрерывного планирования и сбалансированного распределения ИТ-ресурсов.

10. К 2023 году 60% ИТ-директоров будут внедрять утверждаенные высшим руководством программы повышения квалификации сотрудников. После ряда неудачных, разрозненных и не связанных друг с другом инициатив по вовлечению сотрудников наиболее эффективные ИТ-директора приступили к реализации стратегических целевых программ, предусматривающих непрерывное обучение, взаимодействие и инновации в цифровых рабочих пространствах. Иммерсивный опыт и рабочие пространства будут способствовать росту производительности труда и привлечению лучших талантов. В большинстве случаев такие программы являются важнейшим компонентом инициатив предприятия.

Рекомендации

— Формируйте культуру проектирования ИТ-продуктов и услуг, ориентированных на человека и понимание мотивации, желаний и потребностей целевых сегментов работников.

— При оценке и проектировании рабочего пространства и восприятия сотрудников поддерживайте взаимодействие с представителями кадровой службы и руководителями линейных подразделений.

— Используйте гибкие и итерационные подходы в сочетании с этнографическими исследованиями и проектным мышлением в процессе налаживания обучения и формирования рабочих пространств.

***

По мере того, как темпы цифровых преобразований ускоряются, добиться цифрового успеха становится все труднее. Для повышения своих шансов на успех ИТ-директор должен иметь план и стратегию разбиения составляющих цифровой трансформации на управляемые блоки. Необходимо избегать принятия цифровых бизнес-инициатив при отсутствии соответствующих основополагающих элементов. Некоторые из наших рекомендаций и прогнозов на 2020-е годы касаются как раз зкаладки фундамента. И в деле построения нового цифрового предприятия им отводится критически важная роль.

«Прежде чем приступать к каким-то новым преобразованиям в наступившем году, ИТ-директору полезно расчистить ментальные и физические нагромождения, освободив дополнительное пространство для изменений», – советуют в Gartner.

Однако, как указывается в отчете Gartner 2020 CIO Resolutions, для современных цифровых лидеров это может оказаться непростой задачей.

«Несмотря на рост ИТ-бюджетов многие ИТ-подразделения испытывают недостаток финансирования: запросы к ним превышают возможности их бюджетов, – указывают авторы доклада, аналитики Gartner Марк Раскино, Мэри Месальо и Тина Нунно. – Требование делать больше за меньшие деньги или просто делать больше может привести к физическому и моральному истощению. ИТ-директорам необходима обстановка, в которой они сами и вверенные им подразделения могли бы избавиться от ментального балласта и начать Новый год заряженными энергией».

Какие для этого даются рекомендации? Сбросьте балласт и покончите с делами, которые ведут к истощению и не приносят особой выгоды.

Один из способов заключается в том, чтобы навести порядок к своем офисе, оставив в нем лишь то, что несет в себе позитивный настрой. «Расчистите свой кабинет для свежих перспектив», – советуют аналитики Gartner.

Да и всему ИТ-отделу стоит посвятить один день освобождению от всего лишнего. Рекомендуется также пересмотреть просроченные инициативы, которые мертвым грузом давят на ИТ-отдел, и избавиться от регламентов, процессов и процедур, не несущих в себе ценности.

ИТ-директору имеет смысл начать все с чистого листа и разработать план на перспективу.

Авторы призывают также положить конец политике открытых дверей. «Как правило, те, кто склонен пользоваться открытой дверью вашего кабинета, и те, с кем ИТ-директору действительно имеет смысл встречаться, — это разные люди», – говорится в докладе.

Вместе с тем, ИТ-директор должен быть доступен для «стратегических собеседников» и лидеров других команд и подразделений. «Делегируйте, расширяйте полномочия своих подчиненных, смелее поручайте им контакты с другими людьми», – подчеркивают аналитики Gartner.

Размышляйте без поспешности

Одна из главных рекомендаций ИТ-руководителям: «думайте в аналоговом режиме».

«Справляться со сложными проблемами и находить оригинальные решения помогает неторопливое размышление, – указывается в докладе. – Ваш разум нуждается в помощи, чтобы работать усерднее и обстоятельнее».

Вы еще помните, как выглядит авторучка? Воспользуйтесь ею, чтобы набросать четыре-пять афоризмов о культуре мышления, и регулярно повторяйте их. Используйте качественную бумагу и постарайтесь записать эти фразы каллиграфическим почерком.

Еще один прием заключается в том, чтобы превратить офисную стену в «мыслительное пространство», изложив на ней детали своих планов на 2020 год.

Рекомендуется также «проектировать свою организацию в LEGO». Возьмите основание побольше и коробку с миниатюрными деталями: они подскажут «метафорические образы строителям, искателям жемчуга и супергероям-организаторам».

Как и в предыдущие годы, Gartner дает традиционный совет – постараться найти время, чтобы самостоятельно поэкспериментировать с технологиями, не перепоручая эту деятельность подчиненным.

Спектр таких технологий может варьироваться от повседневно используемых умных вещей до платформ категории low code, которые требуют минимального написания программного кода, расширяя возможности разработчиков-непрофессионалов.

Все это имеет важное значение, потому что напряженная и постоянно меняющаяся роль современных ИТ-директоров требует развития деловых контактов с прицелом на будущее и постоянной гонки за изменениями в стремительно развивающихся технологиях.

Успех в цифровом бизнесе невозможен без эффективной стратегии работы с данными. Как ее сформировать, а затем воплотить в жизнь, обсудили участники конференции «Качество данных 2020», которую провело издательство «Открытые системы». Независимо от того, насколько убедительны бизнес-аргументы или талантлива команда разработчиков, без консолидированных качественных данных любые проекты цифровой трансформации обречены на провал.

Реляционные базы данных, озера данных и хранилища NoSQL являются мощными средствами, позволяющими выполнять операции сбора, обновления, поиска, выборки и обработки данных. Вместе с тем они, как ни странно, обычно не предоставляют инструментов и интерфейсов, позволяющих организовать совместное использование того, что находится внутри них. Соответствующие ресурсы зачастую больше похожи на сейфы для данных. Известно, что внутри находятся ценные сведения, но простого способа получить доступ к ним снаружи не существует.

Бизнесу приходится иметь дело с множеством самых разных хранилищ данных: многочисленными корпоративными базами данных, небольшими информационными складами, ЦОДами, облаками, приложениями, инструментами бизнес-анализа, API, электронными таблицами и открытыми источниками данных.

Конечно, метаданные для таблиц, хранимых процедур, индексов и других объектов базы данных можно получить с помощью запроса к реляционной базе данных, составив таким образом ее каталог. Но такой подход отнимает много времени, требует хорошей технической подготовки и позволяет получить только базовый список из одного источника данных.

Можно использовать инструменты для обратного проектирования моделей данных или навигации по метаданным. Но они, как правило, предназначены для технических специалистов и служат главным образом для аудита, документирования и анализа баз данных.

Другими словами, возможностей запросов и инструментов, извлекающих метаданные, для удовлетворения имеющихся потребностей бизнеса сегодня явно недостаточно. Обусловлено это следующими причинами:

• cуществующие технологии требуют очень хорошей технической подготовки и вряд ли могут эффективно использоваться конечными пользователями;
• предприятиям, которые оперируют множеством баз с большими данными, различными технологиями баз данных и гибридными облаками, слишком много операций придется выполнять вручную;
• имеющиеся подходы не особенно полезны для исследователей данных, желающих наладить совместную работу и проводить эксперименты с машинным обучением, используя первичные и производные наборы данных;
• стратегия аудита метаданных не упрощает командам, осуществляющим управление данными, переход к методам активного управления.

Единый достоверный источник сведений об информационных активах организации

Каталоги данных существуют уже достаточно давно и приобретают все более стратегический характер, поскольку организации масштабируют платформы больших данных, инвестируют в программы исследования данных и машинного обучения, а также стараются поддерживать управляемое данными поведение.

Первое, что нужно знать о каталогах данных: это инструменты, помогающие всей организации обучаться и взаимодействовать на основе источников данных. В организациях, которые пытаются ориентироваться на данные, экспериментировать с машинным обучением и использовать встроенные средства анализа в приложениях управления взаимоотношениями с клиентами, им отводится очень важная роль.

Ответственность за интеграцию каталогов данных с основными источниками данных предприятия возлагается на инженеров по данным, разработчиков программного обеспечения и других технических специалистов. Именно они чаще всего обращаются к каталогу данных и видоизменяют его, особенно в процессе создания и модификации баз данных.

Каталоги данных, взаимодействующие с большей частью массивов данных предприятия, представляют собой единый источник достоверной информации. Они помогают ответить на вопросы о том, какие данные существуют у предприятия, где найти наилучшие источники данных, как защитить данные и кто обладает необходимым для этого опытом. Каталог данных включает в себя инструменты для обнаружения источников данных, получения метаданных для этих источников, выполнения поиска и управления метаданными.

Многие каталоги данных выходят за рамки понятия структурированного справочника, описывая связи между источниками данных, сущностями и объектами. Большинство каталогов отслеживают различные классы метаданных, особенно в части конфиденциальности и безопасности. Они позволяют получить и совместно использовать информацию о том, как различные люди, подразделения и приложения используют источники данных. Большинство каталогов данных включают также инструменты для определения словарей данных, для профилирования и очистки данных, а также для выполнения других сервисных операций. Специализированные каталоги данных предоставляют также возможности управления основными данными и получения информации о происхождении данных.

Продукты и сервисы каталогов данных

На рынке сегодня присутствует достаточно много инструментов и платформ для ведения каталогов данных. Некоторые из них представляют собой расширение какой-то другой инфраструктуры и функций управления корпоративными данными. Другие открывают возможности нового поколения и ориентированы на простоту использования, взаимодействие и дифференциацию машинного обучения. В конечном итоге выбор будет зависеть от масштабов, уровня квалификации пользователей, стратегии исследования данных, архитектуры данных и других требований, предъявляемых организацией.

Приведем примеры продуктов для ведения каталогов данных.

• Azure Data Catalog и AWS Glue – сервисы каталогизации данных, встроенные в платформы публичного облака.
• Функции каталога данных поддерживают многие платформы для интеграции данных, в том числе Informatica Enterprise Data Catalog, Talend Data Catalog, SAP Data Hub и IBM Infosphere Information Governance Catalog.
• Некоторые каталоги данных предназначены для платформ больших данных и гибридных облаков. К ним относятся, в частности, Cloudera Data Platform и InfoWorks DataFoundry, поддерживающие операции с данными и их настройку.
• Существуют автономные платформы с функциями машинного обучения: Unifi Data Catalog, Alation Data Catalog, Collibra Catalog, Waterline Data и IBM Watson Knowledge Catalog.
• Инструменты для управления основными данными (например, Stibo Systems и Reltio), а также платформы клиентских данных (Arm Treasure Data) также могут использоваться в качестве каталогов данных.

Машинное обучение для лучшего понимания данных

Функции автоматизации процесса обнаружения данных, осуществления поиска в репозитарии и предоставления инструментов для взаимодействия относятся к числу базовых. Более развитые каталоги поддерживают функции машинного обучения, обработки естественного языка и программирования с написанием минимального объема кода.

Функции машинного обучения могут принимать различные формы, зависящие от платформы. Unifi, к примеру, имеет встроенный функционал рекомендаций, который анализирует, как люди используют, объединяют и маркируют первичные и производные наборы данных. Проанализировав характер использования, компоненты машинного обучения выдают рекомендации другим пользователям в момент, когда они обращаются с запросом к аналогичным данным и шаблонам. В Unifi применяются также алгоритмы машинного обучения для профилирования данных, выявления конфиденциальной идентификационной информации личного характера и маркировки источников данных.

Collibra использует машинное обучение, чтобы помочь администраторам классифицировать данные. Компонент Automatic Data Classification анализирует новые наборы данных и сопоставляет их с 40 уже имеющимися классификаторами – адресов, финансовой информации и идентификаторов продуктов.

Waterline Data использует патентованную технологию отпечатков, которая автоматизирует обнаружение, классификацию и управление корпоративными данными. Одним из направлений является идентификация и маркировка конфиденциальных данных, которая, как утверждается, сокращает время, требуемое для маркировки, на 80%.

У разных платформ имеются разные стратегии и технические возможности для обработки данных. Некоторые из них функционируют только на уровне каталога данных и метаданных, в то время как другие поддерживают расширенные функции подготовки данных, их интеграции, очистки и других операций с данными.

Корпоративная система обработки и настройки данных InfoWorks Data Foundry непосредственно интегрирована с алгоритмами машинного обучения. Интерфейс визуального программирования, требующий написания минимального объема программного кода, позволяет конечным пользователям объединить данные с алгоритмами машинного обучения: кластеризацией k-means и классификацией по алгоритму случайных лесов.

Сегодня мы находимся на ранней стадии разработки активных платформ и каталогов данных, обеспечивающих управление, расширяющих операционные возможности и содержащих исследовательские инструменты для предприятий с растущими объемами данных. По мере роста ценности данных и их анализа, у организаций возникает потребность в их масштабировании и управлении ими. Одной из тех областей, в которых различные платформы каталогов данных будут конкурировать друг с другом, вероятно, станет машинное обучение.

Современные приложения все активнее проникают в онлайн-экономику. Однако не совсем ясно, носит ли их движение центростремительный или центробежный характер – другими словами, тяготеют ли они к центру облака или к границам сети.

Приложения – в форме программного обеспечения, сервисов, рабочей нагрузки и бизнес-логики – движутся в целом в том же направлении, что и данные, которые они генерируют и используют. Кто-то считает, что в массе своей они перемещаются в центр облака, привлекаемые растущим объемом озер данных, а кто-то видит их рассеивание в виде мельчайших микросервисов по границам вслед за мобильными и встроенными устройствами, а также устройствами Интернета вещей.

Реально ли притяжение данных?

Мы живем в мире, где облако все сильнее смещается на периферию, но стрелка весов в любой момент может качнуться и в другом направлении. Для объяснения тех или иных тенденций развертывания приложений обозреватели любят обращаться к новому понятию «притяжения данных».

Предполагаемое гравитационное притяжение данных, по их мнению, основано на следующих принципах.

Производительность. По мере приближения приложений к данным задержки снижаются, а пропускная способность при выполнении функций, связанных с обработкой данных, увеличивается.

Контроль. Приближение приложений к данным помогает обеспечить безопасность и добиться более полного и детального контроля над использованием и обработкой данных.

Стоимость. В случае приближения приложений к данным дополнительная выгода извлекается за счет повышения эффективности хостинга и управления связанной с данными рабочей нагрузкой приложений.

Масштабируемость. При приближении приложений к данным их ценность возрастает вследствие упрощения доступа к большему объему и разнообразию данных в непосредственной близости от их местонахождения.

Функционал. Приближение приложений к данным дает возможность воспользоваться преимуществами специального анализа данных, их интеграции, манипуляций с ними и другого функционала, поддерживаемого базовым источником или репозитарием.

Притяжение данных и гиперконвергентная инфраструктура

Если притяжение данных реально, оно несомненно должно оказывать влияние на архитектуру облака и сред граничных вычислений (edge computing). Но не вполне ясно, можно ли здесь говорить о чистом влиянии притяжения данных.

Некоторые считают, что аппаратным катализатором притяжения данных является гиперконвергентная инфраструктура. Согласно этому аргументу, гравитационное притяжение данных приводит к усилению связей между хранилищем данных и ресурсами обработки приложений – вычислительными, памяти, сетевыми и виртуализации – в новом поколении популярных аппаратных решений в облачных ЦОДах.

Но, называя гиперконвергентную инфраструктуру фактором притяжения данных к облаку, они игнорируют то, что соответствующие аппаратные средства зачастую развертываются как раз в периферийных средах, а не в стойках облачных ЦОДов. Ослабление притяжения у границ объясняется скорее потребностью в непрерывном улучшении восприятия пользователей – улучшении мобильных средств, интерактивного взаимодействия и взаимодействия в реальном времени, а также потоковых технологий – а не каким-то магическим притяжением данных, хранящихся в этих узлах.

Применительно к гиперконвергентной инфраструктуре аргумент притяжения данных легко может быть использован и в обратном направлении. Вычислительные мощности, являющиеся обязательным условием для выполнения любых приложений, имеют свойство притягивать к себе и другие ресурсы, включая данные. А поскольку эти ресурсы находятся в гиперконвергентном шасси вместе с центральными и прочими процессорами, улучшения в части производительности приложений, управления, стоимости, масштабируемости и функционала так же легко могут притягивать данные к границам сети, как и к облаку.

Притяжение данных и конфиденциальные вычисления

Не имея возможности изолировать и защитить конфиденциальные данные, многие организации предпочитают просто не выпускать их за пределы своих сетей. Притяжение данных легко можно сместить к краям сети, если защитить их с помощью стандартизированного в рамках всех платформ, приложений и инструментов подхода.

Ключевым условием реализации такой инициативы является обеспечение безопасности за периметром. Процедуры аутентификации, выдачи разрешений, обеспечения конфиденциальности и выполнения других функций управления должны следовать за данными, где бы те ни находились. Узлам обработки нужен постоянный доступ к средствам безопасности, позволяющим организовать управление ресурсами данных в моменты их использования, хранения и перемещения.

Другим важным элементом является оборудование, обеспечивающее конфиденциальность и безопасность данных за периметром с помощью доверенных сред исполнения, интегрированных во все узлы как в облаке, так и на границах сети. Преимущества стандартизированных аппаратных ускорителей при решении конфиденциальных задач очевидны. Они хорошо подходят для управления паролями и ключами на уровне устройств, реализации блокчейна и электронных кошельков, приложений искусственного интеллекта и машинного обучения, обмена сообщениями и построения других программ, имеющих дело с конфиденциальными данными. Но для того чтобы воспользоваться преимуществами таких средств защиты, необходимо внести существенные изменения в инструменты разработки приложений.

Эта новая парадигма отражает фундаментальный сдвиг в выполнении вычислений на аппаратном уровне. Она позволяет обрабатывать зашифрованные данные в памяти на заданном узле, не открывая их неавторизованным программам и другим локальным ресурсам. Опыт использования сред AMD Secure Encrypted Virtualization, Intel Software Guard Extensions, Red Hat Enarx и Google Asylo Project показывает, что конфиденциальные вычислительные технологии должны изолировать важные данные приложений при их размещении в памяти.

Если отраслевой стандарт – вычислительный фреймворк, обеспечивающий конфиденциальность на аппаратном уровне, будет поддержан рынком, причины, заставляющие предприятия держать конфиденциальные данные на своей территории, в значительной мере исчезнут. Созданный недавно организацией Linux Foundation консорциум Confidential Computing Consortium я считаю шагом в правильном направлении. Группа, в состав которой в качестве спонсоров и участников входят Alibaba, Arm, Baidu, Google, IBM, Intel, Microsoft и целый ряд других компаний, разрабатывает общую межотраслевую платформу с открытым кодом, позволяющую любому приложению обращаться к загружаемым в оперативную память и используемым на постоянной основе функциям безопасности, четкое выполнение которых обеспечивается на любом узле.

Данные в невесомости

Для реализации конфиденциальных вычислений в полном объеме стандартная отраслевая платформа должна быть интегрирована в более широкую инфраструктуру за пределами периметра. В идеальной среде элементы обеспечения безопасности данных и управления будут последовательно применяться везде, где находятся данные, от ядра облака до множества периферийных устройств. Эти элементы управления обеспечат эффективность и масштабируемость при любом сценарии, включая использование, хранение и перемещение данных.

Сместит ли идеальная конфиденциальная вычислительная инфраструктура «притяжение» данных от ядра к краям? Не обязательно. Универсальная, стандартная и неизменно высокопроизводительная инфраструктура, поддерживающая все узлы в распределенной структуре, не должна оказывать чистого эффекта на распространение данных и на приложения, подпитываемые этими данными.

Те, кто думают, что нападение на гражданскую инфраструктуру является военным преступлением, безусловно, правы. Тем не менее, шпионы из самых разных стран постоянно ведут тихую и грязную войну, подбираясь к гражданской инфраструктуре (в том числе и к гражданским атомным станциям, производящим электроэнергию), с тем чтобы иметь возможность совершить диверсию при возникновении геополитической напряженности.

Давайте проанализизуруем, как была взломана индийская АЭС Куданкулам (Kudankulam Nuclear Power Plant, KNPP) и как этого легко можно было бы избежать.

Взлом KNPP

Новость появилась, как это часто бывает в наши дни, в Twitter. По информации The New Indian Express, Пухрадж Сингх (@RungRage), известный специалист в области киберразведки, сыгравший важную роль в формировании центра кибервоенных операций в американской Национальной организации технических исследований (National Technical Research Organisation, NTRO), писал в Twitter: «Итак, теперь это становится достоянием общественности. Выявлен несанкционированный доступ к Kudankulam Nuclear Power Plant на уровне контроллера домена. Правительственные структуры были уведомлены давным-давно. Поражены критически важные цели». Сингх указал, что знал о нападении еще 7 сентября 2019 года, назвав его casus belli – событием достаточно серьезным для того, чтобы спровоцировать войну.

В своем последнем твите он пояснил, что не занимался изучением вредоносной программы лично: «Со мной связались представители третьей стороны, и 4 сентября (дата очень важна) я уведомил координатора по вопросам национальной кибербезопасности (National Cyber Security Coordinator). После этого мои информаторы поделились с офисом NCSC сведениями о признаках взлома. В 'Лаборатории Касперского' вредоносная программа чуть позже получила название DTrack».

Поначалу в Индийской национальной компании по атомным электростанциям (Nuclear Power Plant Corporation of India, NPCI) все отрицали. В своем пресс-релизе они осудили «ложную информацию», распространяемую в социальных сетях, и настаивали на том, что атомная станция Куданкулам «полностью автономна и не имеет внешних подключений к киберсетям и Интернету», а следовательно, «никакие кибератаки на систему управления атомной электростанцией невозможны в принципе».

Однако в дальнейшем там отказались от своих слов. Уже 30 октября в NPCI подтвердили, что вредоносная программа была обнаружена их системами, а уведомление CERT-India было направлено 4 сентября 2019 года. В заявлении говорилось, что зараженный компьютер был подключен к административной сети, «изолированной от критически важной внутренней сети. Расследование подтвердило, что системы станции не затронуты».

Целенаправленная атака

По данным исследователей из CyberBit, вредоносная программа вопреки первоначальным сообщениям была нацелена именно на KNPP. Методом обратного проектирования им удалось обнаружить в программном коде учетные данные администратора сетей KNPP (имя пользователеля: /user:KKNPP\\administrator; пароль: su.controller5kk), а также внутренние IP-адреса RFC 1918 (172.22.22.156, 10.2.114.1, 172.22.22.5, 10.2.4.1, 10.38.1.35), которые по определению не могут маршрутизироваться через Интернет.

Все это с высокой долей вероятности означает, что атакующий сначала сумел проникнуть в сети KNPP, просканировал устройства NAT, завладел учетными данными администратора, после чего использовал полученные данные в своей вредоносной программе, предназначенной для более глубокой и тщательной разведки сетей KNPP.

«Целью атаки была именно атомная станция, – утверждает Ход Гэвриел, занимающийся в CyberBit анализом кода вредоносных программ. – Возможно, речь здесь идет уже о втором ее этапе».

Исследованная вредоносная программа, впрочем, не включала аналогичный Stuxnet функционал, направленный на уничтожение систем KNPP. «На этой стадии все ограничивалось только сбором информации, никакого деструктивного вмешательства не было», – добавил Гэвриел.

Виновата ли Северная Корея?

В результате многочисленных исследований и анализа вредоносной программы, проведенного VirusTotal, было выявлено сходство кода с вредоносными программами, распространявшимися ранее северокорейской группой Lazarus. Аналитики «Лаборатории Касперского» обнаружили сходные черты еще с программами 2013 года: «Полученные образцы Dtrack показывают, что группа Lazarus отличается наиболее высокой активностью в части разработки вредоносного программного кода для проникновения в автоматизированные системы предприятий».

Однако с учетом того, что с геополитической точки зрения Индия не слишком интересует северокорейских хакеров, высока вероятность специального использования их кода другими группами для маскировки и направления следствия по ложному пути.

Анализ вредоносной программы

Вредоносная программа скрывалась внутри модифицированных копий вполне легитимного программного обеспечения, такого как 7Zip и VNC. Зачастую такая технология помогает избежать обнаружения вредоносных программ антивирусными сканерами. Отражать атаки можно за счет адекватной проверки сигнатур – модифицированная хеш-сумма программы отличается от хеш-суммы, подписанной поставщиком программного обеспечения. Успешное же проведение атаки подобного рода свидетельствует о том, что проверка хеш-сумм файлов программного обеспечения на станции не осуществлялась.

При пассивной защите выявить атаку очень сложно. «Эффективное обнаружение целенаправленных атак такого типа, как правило, сопряжено с большим количеством ложных срабатываний и требует тщательного анализа, – указал Гэвриел. – Службы, обеспечивающие безопасность критически важной инфраструктуры, должны постоянно проводить мониторинг сети, выявляя подозрительную деятельность и блокируя ее еще до того, как она успеет причинить реальный ущерб».