CDO Award

Любая страховая компания заинтересована в том, чтобы ее клиенты покупали продукты самого широкого спектра. Но стоит ли страховому агенту тратить время на уговоры, если владелец полиса ОСАГО убежден в том, что КАСКО ему не нужен? При том, что другому клиенту, возможно, есть смысл предложить не только КАСКО, но и страховку квартиры и дачи. Как страховщикам угадать наши с вами предпочтения?

В компании «РЕСО-Гарантия» предпочли не угадывать, а построить математическую модель, которая позволит выявить клиентов с высоким уровнем спроса на продукты добровольного страхования среди владельцев полиса ОСАГО. Это поможет сделать кросс-продажи в агентской сети более эффективными.

Сергей Алешкин, руководитель по Data Science страховой компании «РЕСО-Гарантия» и номинант премии CDO Award, делится деталями проекта.

— Есть ли в компании стратегия работы с данными?

Мы только начинаем цифровизацию, и в ее рамках идет подготовка регламентов работы с данными. Сейчас взаимодействие организовано неформально, но все знают, кто за что отвечает и какие задачи должен решать. У нас есть ИТ-подразделение, которое обеспечивает стабильность работы систем обработки данных, есть специалисты, отвечающие за наполнение этих систем и за качество данных, и есть аналитики, которые работают с данными, в том числе строят математические модели.

— Что входит в зону вашей ответственности?

Я отвечаю за построение моделей, их внедрение в бизнес-процессы, поддержание их эффективности, мониторинг, переобучение при необходимости. Мне приходится тесно общаться с коллегами, обеспечивающими хранение и качество данных. Мою деятельность курирует заместитель генерального директора, отвечающий в компании за ИТ и аналитику.

— Каким образом вы выявляете задачи для применения машинного обучения?

«РЕСО-Гарантия» — коммерческая организация, поэтому во главу угла при выборе проекта ставится получение максимального бизнес-эффекта. На решение той или иной задачи может быть получен запрос от бизнеса, или же мы сами в процессе анализа данных можем обнаружить интересную зависимость и предложить бизнесу реализовать модель на ее основе. Но всегда запуску проекта предшествует анализ его окупаемости. Мы люди творческие, нам интересно экспериментировать с данными, но, приоритизируя проекты, мы исходим из того, что получит компания от внедрения конкретной модели.

— Как возникла идея проекта в области кросс-продаж?

Наиболее массовый продукт на рынке страхования — полис обязательного автострахования ОСАГО. Например, среди клиентов РЕСО порядка 15 млн человек покупают такие полисы. Но страховой компании нужно продавать и продукты добровольного страхования — полисы КАСКО, страхования имущества и др. Поэтому была поставлена задача увеличить кросс-продажи клиентам ОСАГО. Однако далеко не все они расположены покупать другие полисы.

Мы стали работать над выявлением кластеров клиентов с потенциально наибольшим спросом на продукты добровольного страхования. Значительная часть продаж компании идет через агентскую сеть. В процессе общения страховой агент может пропустить того самого покупателя, которому стоит предложить полис добровольного страхования, или сделать предложение формально и в результате упустить потенциального клиента.

Мы задумались над тем, чтобы создать модель, которая выявляла бы не просто клиентов ОСАГО с высоким спросом на продукты добровольного страхования, а именно тех из них, кто, скорее всего, еще не получал предложения от конкретного агента. То есть модель может сделать «работу над ошибками». Среди агентов есть новички, которые еще не научились всем тонкостям общения. Но и опытные агенты с большими портфелями тоже нуждаются в помощи, потому что им физически сложно уделить должное внимание всем своим клиентам. В зависимости от характеристик агента модель определяет, каких клиентов с высоким спросом на продукты добровольного страхования он мог пропустить, и передает ему полученную информацию. Анализируются около десятка параметров по каждому агенту: социально-демографические признаки (возраст, пол и т. д.), опыт и предпочтения по продажам страховых продуктов (срок работы в компании, история продаж по типам продуктов и т. д.).

В результате увеличиваются продажи, растут доходы агентов и их лояльность компании, а также доходы компании и лояльность клиентов, потому что они получают качественный страховой продукт, действительно необходимый в данный момент. Проект приносит выгоду всем сторонам.

— Тот самый случай, когда искусственный интеллект помогает сотрудникам, но не заменяет их?

Совершенно верно. Страховая компания работает через агентскую сеть, и наши клиенты, будучи лояльны бренду РЕСО, в значительной степени лояльны страховому агенту — конкретному человеку, с которым они взаимодействуют на протяжении долгого времени и которому доверяют. Поэтому задача заменить агента здесь не стоит — ему надо оказать эффективную помощь в поиске тех клиентов, которые купят продукты добровольного страхования.

Агенты, среди которых много людей в возрасте, отлично знают страховые продукты и умеют с ними работать, но при этом с недоверием относятся к ИТ. Поэтому поначалу проект был воспринят ими скептически, но, по мере работы, они оценили результативность такого подхода и попросили расширить возможности модели. Мы начинали с выявления потенциальных клиентов страхования имущества, затем добавили КАСКО.

— Как строится взаимодействие агентов с системой? Не возникают ли проблемы у не очень восприимчивых к ИТ сотрудников?

Вначале мы реализовали подсказку в момент продажи полиса о том, что данный клиент склонен к покупке определенного дополнительного продукта. Но потом поняли, что большинство агентов хотели бы заранее получать списки таких клиентов, чтобы спланировать свой визит или разговор с клиентом по телефону. Теперь мы готовим эти списки и передаем их агентам через руководителей агентской сети.

Агенты получают рекомендации искусственного интеллекта в CRM-модуле. Опытный специалист работает на страховом рынке несколько десятков лет, знает лично многих своих клиентов, и для него непривычен формат работы, когда ему рекомендуют, к кому обратиться в первую очередь. Для того чтобы пользоваться такой системой, агент должен убедиться на практике в том, что рекомендации действительно эффективны.

В адаптации агентов к работе с новым проектом очень помог опыт Школы РЕСО. У нашей компании одна из сильнейших агентских школ России, и мы задействовали ее потенциал. Все агенты проходят обучение кросс-продажам с помощью современных технологий.

Один из важных компонентов любого внедрения машинного обучения — постоянный мониторинг метрик модели. Если возникает существенное отклонение в качестве, модель необходимо переобучать. Помимо прочего, этот мониторинг позволил нам выявлять агентов, испытывающих трудности в работе с новой схемой взаимодействия с клиентами, и для них было организовано дополнительное обучение.

— На каких данных реализован проект? Какая технологическая инфраструктура используется?

Это полностью наша разработка. Данные собираются в базе данных Oracle, модель разрабатывается с использованием Python. Из методов машинного обучения используется ансамбль моделей, построенных с помощью логистической регрессии и XGboost.

Модель обучалась на данных около 5 млн клиентов. Учитывались социально-демографические данные, характеристики потребительских предпочтений (что страхуют, когда, как часто) и др. Использовалась вся клиентская информация, до которой может «дотянуться» страховая компания. Конечно, у нас меньше сведений, чем, скажем, у банка или телекома, но их было достаточно для того, чтобы обеспечить хорошую точность модели для кросс-продаж.

Сейчас модель еженедельно анализирует порядка миллиона клиентов.

— Какие проблемы возникли в ходе реализации проекта, как удалось с ними справиться?

Нельзя сказать, что мы построили сложную модель. Пожалуй, самое трудное и интересное связано с внедрением. Надо было убедить нашу агентскую сеть в том, что это действительно полезный инструмент, и настроить обратную связь от конечных пользователей. РЕСО регулярно проводит большие встречи руководителей агентских подразделений, съезды агентов. На всех этих мероприятиях мы презентовали модель, лично общались с агентами и их руководителями, рассказывали им о преимуществах системы, отвечали на вопросы. В ходе этого общения мы узнали о ряде важных показателей работы агентов. Их анализ позволил вывести интересные зависимости, в том числе увеличить точность модели.

— Насколько уникален такой сервис для страховой отрасли?

Уникальность нашего подхода — не в модели, а в процессе взаимодействия агентов с моделью. Строить модели, которые ищут клиентов с высоким спросом на те или иные продукты для кросс-продаж, пытаются большинство страховых компаний, но обычно ставка делается на роботизацию процесса. Наш проект отличает высокая степень вовлеченности людей — агентов и их руководителей. Не менее важна и постоянная обратная связь, которая позволяет, с одной стороны, совершенствовать модель, а с другой — делать более эффективной работу сотрудников.

— Как долго система находится в продуктиве? Каких финансовых преимуществ и качественных улучшений удалось добиться за это время?

Система активно применяется с середины 2019 года в 200 филиалах в 70 регионах России, ею пользуются около 3,5 тыс. страховых агентов.

По нашим данным, за это время в 10 раз выросла эффективность кросс-продаж благодаря снижению трудозатрат агентов и повышению результативности их работы. Декабрь и январь показали существенный рост продаж продуктов добровольного страхования. По прогнозам на 2020 год, 18% дополнительных сборов по страховым продуктам, к которым применяется модель, будут получены именно благодаря ее использованию.

Мы построили комплексное решение на базе машинного обучения, которое, с одной стороны, хорошо интегрируется в существующую технологию продаж, а с другой — создает новую ценность для компании с точки зрения расширения возможностей кросс-продаж и повышения эффективности агентской сети.

— Каковы планы по развитию системы?

Мы получаем очень много заявок на расширение перечня страховых продуктов, охваченных моделью, и планируем развивать аналогичные проекты для кросс-продаж по другим направлениям работы компании.

Сейчас также разрабатывается проект на базе машинного обучения для Школы РЕСО. Очень важно оценить потенциал человека в роли страхового агента на этапе рекрутинга, чтобы можно было сосредоточить усилия на обучении наиболее талантливых сотрудников, удерживать их у себя и развивать. Мы делаем модель, которая будет искать таких кандидатов, а также выявлять их среди претендентов, которые к нам уже обратились.

Опорной точкой при реализации любых цифровых инициатив являются данные. Практически все компании осознают это — не случайно проекты, направленные на управление данными, становятся все более распространенными, особенно в крупных организациях.

Ситуация существенно усложняется, когда речь идет о компаниях, в процессе своего развития столкнувшихся с поглощениями других бизнесов. Инвестировать огромные средства в унификацию унаследованного ИТ-ландшафта готовы далеко не все. Однако проблема с данными в этих условиях становится вдвойне критичной, и решать ее необходимо.

Как управлять данными такого гиганта, как ВТБ? Светлана Бова, CDO (Chief Data Officer), управляющий директор — вице-президент банка ВТБ и номинант на премию CDO Award 2020, рассказывает об используемых подходах и первых результатах.

— В чем суть реализуемого ВТБ проекта?

В конце прошлого года в рамках программы трансформации ВТБ мы запустили инициативу по управлению данными. В ходе ее проработки и конкретизации идей, которые мы собираемся реализовывать, были обозначены три направления работ. Первым из них стало внедрение функции Data Governance, вторым — построение архитектуры для работы с большими данными. Третье направление — это модернизация платформы данных, рефакторинг хранилищ, которые мы исторически унаследовали при слиянии ВТБ с Банком Москвы и ВТБ24, и создание целевого единого хранилища данных. Эта программа рассчитана на три года.

Суть направления Data Governance заключается в разработке стратегии управления данными и внедрении функционально-ролевой модели участников процесса управления данными. В мировой терминологии такой подход известен как data stewardship — парадигма концепции владения данными: каждое подразделение обладает ответственностью за определенную область данных, а потребители могут запрашивать данные и выставлять свои требования к ним — к их качеству, доступности, актуальности, скорости доставки.

— Каковы первые шаги?

Мы начинаем с фундамента: выстраиваем бизнес-глоссарий — репозиторий терминов, которыми банк оперирует в своей деятельности. По предварительным расчетам, уникальных терминов в банке больше 12 тысяч. При таком объеме сделать даже «перепись населения» — довольно трудоемкая задача. А вести вручную и поддерживать в актуальном состоянии весь список терминов практически невозможно. Поэтому мы инициировали проект по внедрению специализированного промышленного решения Data Governance на базе решения Informatica Axon. В рамках проекта за семь месяцев было развернуто три модуля, первым из которых и стал бизнес-глоссарий. Сейчас производится его поэтапное заполнение: на данный момент в нем около 800 терминов, в дальнейшем планируем добавлять по 1,5–2 тыс. атрибутов в год. Это достаточно трудоемкий процесс: мало найти термин и нормативную базу — важно согласовать его между подразделениями, обеспечить его одинаковое понимание и единообразное описание.

Бизнес-глоссарий по сути стал «навигатором по данным». Пользователь, осуществляя поиск термина в бизнес-глоссарии, получает четкий маршрут и ответы на вопросы:

• Что означает запрашиваемый термин?
• Кто за него отвечает, являясь владельцем данного атрибута?
• В каких ИТ-системах атрибут встречается в ландшафте банка?
• Какие требования к его качеству выставляются и какие проверки качества данных для него существуют?

Также отдельным компонентом является Enterprise Data Catalog, позволяющий осуществлять связь между бизнес-термином и его физическим расположением в ИТ-системах с визуализацией потоков данных между ИТ-системами. Данный инструмент крайне полезен для ускорения производственного цикла разработки прикладного ПО, а также для обучения новых специалистов при погружении в специфику ИТ-ландшафта.

Третий важный модуль касается мониторинга качества данных. Мы ввели специальные метрики и с их помощью начали качественно замерять уровень «здоровья данных». Уже в текущем году приступили к разработке системы мотивации и KPI по качеству данных.

— Почему в банке решили заняться вопросами управления данными? Что не устраивало в существующей ситуации?

После объединения банков подверглись слиянию ИТ-ландшафты, нормативные базы и процессы, поэтому возникла необходимость систематизировать знания о данных, поскольку поиск информации занимал довольно много времени. Кроме того, очень длительным было, например, согласование несколькими подразделениями одного и того же показателя, получаемого из различных витрин и отчетов разных хранилищ данных. Хотелось значительно сократить сроки получения аналитики и выверки отчетности.

За долгие годы во всех банках, вошедших в состав обновленного ВТБ, было реализовано множество разрозненных аналитических проектов. В итоге появились различные витрины данных для расчета одних и тех же показателей в интересах разных подразделений. Подобное дублирование информации в масштабах банка обходилось дорого. И чем больше систем появлялось, тем больше затрат требовалось на их поддержку.

Кроме всего прочего, колоссальное время занимал анализ причинно-следственных связей при разборе инцидентов с данными. Исходя из своего предыдущего опыта, могу с уверенностью сказать, что при наличии Data Governance и автоматического выполнения data lineage (визуализации потоков данных между системами с шагами преобразований данных) затраты на анализ инцидентов с данными сокращаются на 40%. Примерно на столько же сокращается фаза анализа в проектах реализации нового функционала информационных систем — просто за счет наличия актуальной карты потоков данных.

— Этот проект не только технологический — у него достаточно сложная организационная составляющая. Масштаб предполагаемых изменений очень велик. Как заставить меняться такого тяжеловеса?

Как известно, слона рекомендуется есть по частям. Можно выделить несколько шагов. Во-первых, был создан коллегиальный орган с делегированием в него представителей высокого уровня от каждой вертикали для погружения в тематику и совместной проработки целей и задач, а также для расчета бизнес-эффекта проекта. Особое внимание мы уделили формированию перечня конкретных локальных проблем каждого подразделения, связанных с данными, которые используются в его работе. Люди должны были почувствовать практическую ценность от внедрения инициативы по управлению данными. Был составлен список практических кейсов, касающихся качества данных, их доставки, унификации терминологии показателей отчетности. Мы ранжировали эти задачи и выбрали для первого внедрения в рамках бизнес-глоссария три кейса от различных подразделений.

Затем перешли к изменениям в процессной части, так как мало провести разовую инвентаризацию актива — крайне необходимо вплести практики управления данными в процессы изменений продуктов, процессов, ИТ-ландшафта банка. Нам предстоит внести изменения в модель производства ИТ-решений, реализовать порядок взаимодействия подразделений при анализе и решении инцидентов качества данных.

И наконец, еще одна важная миссия, которая должна быть в центре внимания любого CDO, — просвещение. В разных подразделениях разный уровень компетенций, да и необходимость в новых знаниях не всегда бывает очевидной. Так как тема новая и вообще концепция Data Governance еще не сильно распространена в России, мы сделали очень неплохой курс очного и дистанционного обучения. Теперь каждый сотрудник может повысить свой уровень компетенций в области управления данными.

Также мы наладили выпуск регулярного внутреннего новостного дайджеста «Всё о данных», где публикуем интересные факты из мировой практики в области работы с данными, а также информацию о внутрибанковских проектах, касающихся работы по гармонизации данных. Так мы вносим свой вклад в формирование культуры и распространение знаний об управлении данными.

— С какими проблемами пришлось столкнуться при реализации проекта? И каких было больше — организационных или технологических?

Конечно же, организационных проблем было больше. С технологиями всегда проще.

Уровень зрелости в подразделениях изначально был различным, и это осложнило ход реализации проекта, ведь программу вовлечения участников пришлось дифференцировать. Размер организации подразумевает наличие большого количества звеньев в принятии решений и при трансляции информации, что достаточно существенно влияет на сроки выполнения этапов внедрения инициативы по управлению данными.

Культура у подразделений тоже разная. Различна и готовность к изменениям: есть весьма консервативные блоки, а есть очень адаптивные и инициативные. В результате динамика работ по идентификации атрибутов, унификации терминов, запуску системных процедур повышения качества данных была практически индивидуальной для каждого владельца данных.

Технологические проблемы связаны в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Так как внедряемая система управления данными предполагает связь с системами аналитического контура, то основные технические трудности были как раз на уровне интеграции.

— Data Governance — это сложно и наукоемко. Можно ли изложить стратегию управления данными в нескольких фразах, понятных обычному потребителю?

Понятие Data Governance, пришедшее из зарубежных практик, действительно имеет достаточно много сложных и весьма витиеватых интерпретаций. В рамках нашей организации принята следующая терминология: управление данными — комплекс организационных и технических мероприятий, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного стратегического актива.

С практической точки зрения можно выделить несколько ключевых моментов.

У каждого класса данных должен быть владелец данных, ответственный за их качество, методологию расчета и поддержание в актуальном состоянии карт потоков данных в ИТ-ландшафте.

Внедрение «навигатора по данным» в формате специализированного решения — бизнес-глоссария — позволит значительно сократить время на поиск данных.

Существенная модернизация систем аналитического контура — хранилищ данных и комплекса инструментов по работе с большими данными, инструментов BI self-service analytics — призвана обеспечить высокую доступность оперативных и достоверных данных для бизнеса. Наконец, важно наращивать компетенции в бизнес-подразделениях по управлению данными и по работе с большими данными посредством специализированных образовательных программ для сотрудников и участия в практических проектах.

— Что собой представляет созданная инфраструктура для работы с данными?

Что касается инструментов для управления данными, мы выбрали Informatica Axon для ведения бизнес-глоссария и Informatica Enterprise Data Catalog (EDC) для отрисовки карты потоков данных. Одна из технологических сложностей работы EDC заключается в том, что далеко не для каждой системы, особенно сильно кастомизированной, решение способно в автоматическом режиме выстроить карту потоков данных. Для этого при написании процедур ETL необходимо следовать определенным стандартам кодирования.

Что касается моделирования и работы с данными, у нас есть определенное количество унаследованных хранилищ, существует стек для аналитики больших данных на Cloudera Hadoop, а также большой парк различных аналитических библиотек — мы опробовали практически все, что есть на рынке, и часть из них внедрили в свою работу.

— У вас используется смесь открытых и проприетарных решений. Есть ли политика в этой области?

У нас гибридный подход. По ряду направлений мы не можем и не будем использовать открытые платформы. Банк должен гарантировать максимальную стабильность работы своих систем. Мы не можем полностью перейти на open source. Но в отдельных случаях это вполне оправданно, и у нас проприетарные и открытые сегменты даже несколько разделены в ландшафте. Наша команда big data, работающая с открытыми решениями, выделена в инфраструктуре со своим стеком решений.

Дешевизна открытых платформ — в некоторой степени иллюзия. Для банка критически важны наличие поддержки, ее стабильность и четко определенное соглашение об уровне услуг. Open source с такими условиями становится вовсе не бесплатным.

— Говоря о целевой архитектуре, вы упомянули хранилище, но ничего не сказали об озере.

Мы оперируем понятием «платформа данных», которое включает в себя и ODS (оперативное хранилище данных), и реляционное целевое единое хранилище, BI-приложения и различные инструменты для работы с большими данными, что, собственно, в общеизвестной практике и называют «озером данных».

— Чего вы уже добились и чего ожидаете добиться в обозримом будущем?

Мы вывели систему управления данными в промышленную эксплуатацию, к ней имеют доступ все сотрудники банка. Очень многих удалось обучить, и они начали пользоваться системой. Это серьезное достижение.

В дальнейшем будем масштабировать и наполнять бизнес-глоссарий, закреплять ответственных за каждый атрибут. Проверка качества данных будет поставлена на конвейер.

Задача на будущее — масштабирование созданных решений и методологических практик на уровень группы ВТБ.

— Создание платформы управления данными должно окупиться? Или такая задача не ставится?

Да, эта платформа должна окупиться. Бизнес-кейс построен на оптимизации процессов анализа и разработки, разбора инцидентов, на сокращении времени на сверку данных. И не надо забывать об инфраструктурной составляющей: в рамках большого проекта по модернизации платформы данных мы все-таки переносим ее часть на open source, снижая стоимость хранения и обработки.

— Готов ли бизнес к тому, чтобы стать data-driven?

Следует разделить такую «готовность» на желание и способность к реальному действию. Желание есть, и осознание того, что изменения в этом направлении жизненно необходимы, тоже есть. Стоит отметить, что в «Стратегии банка — 2022» выделен отдельный блок, посвященный непосредственно работе с данными. А осознание необходимости изменений сотрудниками, которые участвуют в рутинных ежедневных операциях, и осуществление этих изменений — процесс, к сожалению, небыстрый и зачастую болезненный.

— Какие мероприятия по изменению культуры вы проводите?

Безусловно, одно из самых важных — это трансляция ценностей на уровне правления, топ-менеджмента. На операционном уровне — образовательные бизнес-завтраки и курсы обучения.

Очень эффективный подход — персональные истории успеха. Мы выпускаем новостной дайджест, где красочно освещаются назначения владельцев данных и первые результаты их работы. Очень важна персонализация — с фотографиями и описанием заслуг. Это хорошо работает и на мотивацию, и на культуру.

Но лучше всего, когда люди начинают понимать, что ведется реальная работа для решения их проблем, когда видят действительную пользу от работы владельцев данных, менеджеров по качеству данных и офиса CDO. Надо признать, что нам предстоит еще долгий путь.

— Какие стратегические проекты, основанные на данных, являются знаковыми для ВТБ?

В 2019 году банк запустил несколько крупных партнерских проектов с использованием данных.

Так, создается совместное с «Ростелекомом» предприятие, направленное на работу с пользовательскими данными. Его задачами станут создание продуктов и оказание услуг на основе анализа больших данных, в том числе с применением технологии искусственного интеллекта. «Жилищная экосистема ВТБ» — знаковый проект, совместивший все виды услуг и сервисов по приобретению, аренде и дальнейшему обустройству жилья для граждан. Отдельно следует упомянуть «Лайфстайл платформу», объединяющую различные сервисы: вызов такси, доставку еды, бронирование ресторанов, покупку билетов и т. д.

Все более ценным становится подход, когда банк выходит из контура привычных задач и использует данные для разработки различных сервисов в партнерстве с компаниями из смежных сфер, обеспечивая удобство для клиентов и расширяя свою клиентскую базу. Это наши стратегические проекты.

Одной из болевых точек сферы информационной безопасности является разрозненность специализированных инструментов. Им не хватает связности, позволяющей объединить получаемую информацию и обеспечить ее эффективное использование. В компании «Энджиар Софтлаб» — стартапе, занимающемся разработкой программных продуктов, создали решение Dataplan, способное значительно усилить базовый функционал решений по информационной безопасности и других информационных систем. С его помощью получается выявлять аномалии в данных и предоставлять доказательную базу при проведении расследований. Айк Татевосян, руководитель отдела аналитических систем «Энджиар Софтлаб» и претендент на премию CDO Award 2020, рассказывает о предпосылках и истории создания этого решения.

- Что наблюдается на рынке систем информационной безопасности, почему пришли к желанию разработать решение?

В любой крупной компании используется огромное количество разрозненных ИБ-решений: сетевые экраны, антивирусы, решения для предотвращения утечек (DLP), системы управления событиями информационной безопасности (SIEM) – каждая со своими результатами работы. В комплексе этих данных сложно найти какую-то закономерность и понять, что из них является инцидентом, где именно произошло нарушение.

Часто единым центром компетенций и обработки информации выступали SIEM. Но у них есть свои недостатки – например, они работают в рамках одного оперативного дня, и из-за этого для них характерно отсутствие причинно-следственной связи между событиями и возможности ретроспективного анализа. Решение инцидентов напоминает латание дыр без устранения причин их появления.

Мы считаем, что правильным и полезным является объединение нескольких источников данных: ИБ-решений и других компонентов ИТ-инфраструктуры: операционных систем, систем хранения данных, баз данных и т.д. Для решения этой задачи мы попытались собрать необходимый технологический стек, чтобы выявлять аномалии в данных, которые невозможно описать условными правилами. Когда мы подбирались к решению этой задачи, то поняли, что любая аналитика должна основываться на каких-то сущностях. Для нас такой сущностью стал пользователь, совершающий действия, поэтому целью стало построение профилей поведения пользователей.

- Что в самых общих чертах представляет собой продукт?

Dataplan – это аналитическая платформа для работы с большими данными и с возможностью применения машинного обучения. Ее первой практической областью применения стала сфера безопасности, где она позволяет сократить время работы аналитиков на принятие решений. Время реакции в ИБ – самый дорогой ресурс, а сокращение времени реакции на инциденты – это сохранение репутации и денег.

- Таких решений нет на рынке? Неужели никто до этого не додумался?

На зарубежном рынке есть решения класса User Behavior Analytics (UBA), позволяющие проводить поведенческий анализ деятельности пользователей. UBA-решения иностранных вендоров, представленные в России, имеют довольно высокую ценовую планку. Поскольку российский рынок ИБ невелик, то вложить несколько миллионов долларов в решения, эффект от которых не всегда ощутим, мало кто готов – такие инвестиции очень трудно обосновать.

Среди отечественных решений аналогов практически нет, но есть довольно много стартапов, пытающихся работать в этом направлении, и мало компаний, которые уже что-то разработали. Кроме того, часто у заказчиков работают собственные команды data science, но речь идет о разовых проектах, и цель по созданию законченных решений им не ставится.

Есть DLP-системы, в которых заявлено машинное обучение, но оно замкнуто в рамках конкретного решения. Мы пытаемся строить универсальный продукт, который можно подключать к неограниченному числу систем и не замыкаться в рамках одной платформы. Наша цель состоит в том, чтобы анализ был основан на действиях пользователя и на дополнительных факторах: его должности, подразделении, рабочей станции, приложениях, в которых он работает. После комплексной интегральной оценки можно более уверенно выявить пользователей, чье поведения является аномальным и, возможно, требующим проведения расследований.

- Что стало отправной точкой для создания системы?

История началась с того, что у одного из крупных заказчиков приобретенная зарубежная платформа «не взлетела». Ее долго настраивали, обновляли, потратили на это массу средств, но ситуация была далека от идеала.

Интегратор хотел закрыть работы и предоставить заказчику обещанный результат и доверил нам доработку решения. Тогда у нас и получился свой расширенный UBA, позволивший «приземлить» платформу и удовлетворить потребности заказчика. Клиент остался доволен, но надо понимать, что это были «костыли» — полученное решение не выглядело как конечный продукт, хотя и решало проблемы.

После решения этой задачи у нас сформировался определенный технологический стек, а также понимание сценариев, которые возможно реализовать с помощью полученной платформы. Мы увидели в созданном продукте самостоятельную ценность. Сейчас мы его завертываем в красивую обертку и делаем тиражируемым.

- Что представляет собой созданное решение с технической точки зрения?

На текущий момент архитектура решения достаточно сложная, в связи с чем мы разделяем ее на четыре основных компонента.

Первый (Dataplan Processing) является компонентом, отвечающим за сбор, фильтрацию, агрегацию и нормализацию событий. С его помощью данные приводятся к единому формату для создания витрин данных, с которыми можно вести аналитическую работу.

Второй (Dataplan Storage) отвечает за высокоэффективное распределенное хранение данных, предназначенное для онлайн обработки аналитических запросов (OLAP). Речь идет о больших данных, порядок которых при пиковой нагрузке достигает 100 тыс. событий в секунду, поступающих в среднем на боевые инсталляции системы. Вопрос архитектуры обсуждается с заказчиком и отчасти зависит от его потребностей.

Третий компонент – аналитика (Dataplan Analytics). Машинное обучение реализовано на скриптах языка Python.

Наконец, созданные модели отображаются с помощью компонента Dataplan Visualization, представляющего собой BI-инструментарий. Это рабочее место специалиста, которое является инструментом поддержки принятия решений и реализует визуализацию ключевых метрик и показателей результатов аналитики.

- На каких компонентах построена система?

Практически все инструменты, которые брались за основу, являются open source. Во-первых, в ходе создания решения решалась вполне конкретная задача, требовалось сделать «дешево и сердито». Во-вторых, в область открытых решений сейчас смещается политика очень многих компаний.

- Какую роль вы выполняете в компании?

В рамках компании выступаю в роли владельца продукта Dataplan. Являюсь евангелистом использования больших данных в общении с заказчиками, выявляю кейсы и продумываю их решение.

Мой типичный рабочий день – выезд к заказчику, проведение пресейлов и презентаций, выявление потребностей, попытка интерпретации бизнес-задач в технические задачи, оценка сроков, а также координация работы моей команды, донесение до неё новых планов по развитию продукта и отзывов о результатах командной работы.

Главный KPI, за который мне приходится отвечать перед руководством – удовлетворенность заказчика решением.

- Потребность в подобных решениях высока?

Конечно же, мы оценивали потребности рынка, собирали пожелания других заказчиков. Одна из них – автоматизация работы аналитиков, работающих с системами безопасности. Им важно понимать причинно-следственные связи, выявлять сложные сценарии атак. Например, вирусное заражение, которое антивирус может обнаруживать изо дня в день, каждый раз успешно его зачищая. Но сама проблема находится в автозагрузке, которая его порождает. Классические системы работают в реальном времени, им катастрофически не хватает ретроспективной аналитики, в том числе встроенных алгоритмов машинного обучения.

Изучив потребности потенциальных заказчиков, мы поняли, что задачи в области ИБ принципиально ничем не отличаются от бизнес-задач, часто стоящих перед компаниями. Случалось, и так, что мы предлагали решение офицерам информационной безопасности, а те приглашали руководителей проектов и бизнес-аналитиков и демонстрировали им возможности платформы. Поэтому мы уже перепозиционировали решение с первоначального UBA на xBA, где x – классическая неизвестная из математики, поскольку нам не важно, какая именно сущность будет подаваться на вход системы.

- Готовы ли компании тратить деньги на это?

Компании понимают, что в центре всего стоит человек, и именно поэтому тема поведенческой аналитики в ИБ начала так хорошо «заходить». Именно действия сотрудников – преднамеренные или нет – наносят наибольший ущерб, и это факт.

Так, например, наш продут помог сети московских кафе выявить сотрудников, причастных к махинациям с картами лояльности, когда при оплате счета наличными часть суммы оплачивалась баллами с карты лояльности сотрудника, а экономия уходила в карман недобросовестных сотрудников кафе.

Компаниям нужны системы поддержки принятия решений. Дефицит квалифицированных кадров – проблема, но еще хуже, что у имеющихся специалистов нет инструментов для анализа данных, упрощения и ускорения своей работы и обоснования своих действий. У компаний накопились данные за длительное время, и они хотят извлекать из них пользу.

- С какими проблемами пришлось столкнуться? Обычно это данные…

Да, качественные и хорошо подготовленные данные – мечта любого дата-сайентиста, позволяющая избавиться от рутины и заняться творчеством. Общая проблема заключается в том, что когда компания занимается сбором данных, то далеко не всегда понимает, зачем. Как следствие, данные хранятся обрывочно, они далеко не полные, и их нормализация может занимать много времени. Даже если мы видим, как задачу можно решить, часто оказывается, что нужных данных просто нет. Мы предлагаем включить сбор данных из необходимых источников хотя бы на пару месяцев и возвращаемся, когда нам есть с чем работать.

Кроме того, в сфере ИБ так повелось, что люди изначально не слишком доверяют и друг другу, и новым решениям. Часто заказчики предлагают нам пробные задания, не описывая конкретной задачи. Например, речь может идти о поиске в предоставленных данных каких-либо аномалий. Если наши выводы подтверждают имеющиеся факты, компания идет на диалог.

- То есть речь идет об обучении без учителя?

Нынешняя ситуация в нашей сфере – любые алгоритмы машинного обучения изначально должны обучаться без учителя и показать какой-то результат. Когда к заказчикам приходят с терминами big data, machine learning и обещают показать новые знания, естественным желанием является их проверить. К математическим «фокусам» привыкли относиться с недоверием.

Но дело не только в недоверии, но и в том, что компании сами понимают, что могут не обо всем знать. Парадигма остается прежней: специалист должен быть экспертом в области безопасности, глубоко понимать процессы, чтобы уметь интерпретировать имеющиеся данные. Однако от этой парадигмы мы отходим и пытаемся показать, что алгоритмы машинного обучения сами могут «подсветить» любые аномалии, а задача человека – дать заключение по ним. Чем больше человек будет работать в системе и принимать решения в ней, тем «умнее» будут становиться модели, обучаясь на действиях пользователя.

- Каких результатов позволяет добиться решение?

По внешним угрозам – выявление компрометации учетных записей и активов, утечек критичных данных и эксплуатации уязвимостей. По внутренним угрозам – злоупотребление выданными правами, инсайдерская деятельность, несоответствие используемых учетных записей. Однако эти эффекты могут видоизменяться в зависимости от специфики заказчика и его процессов. В одном из госучреждений в ходе пилотного проекта удалось выявить пользователей с аномальными правами доступа в результате их перемещений между подразделениями и рекурсивные вирусные заражения, когда из-за одного компьютера заражался весь сегмент сети.

Что касается ускорения работы аналитиков, то тут эффекты слишком индивидуальны. Зачастую речь идет о том, что некоторые из действий становятся принципиально возможными. В одном из крупных ретейлеров в день создавалось по 10 тыс. инцидентов безопасности по каждому из сценариев, и таких сценариев были сотни. Фактически речь шла о ручной обработке этих событий, что невозможно. Мы автоматизировали процесс проверки этих инцидентов.

Пробиваясь к заказчикам со своими пилотами, мы показали коммерческую ценность своих решений. У нас есть 20 клиентов, довольных проведенными пилотными проектами, пятеро из них уже готовы начать полноценное внедрение. В 2020 году начнется активное масштабирование наших решений. Про какие-либо конкретные цифры можно будет говорить позже.

- А в реальном времени какие-то задачи решаются?

У нас были пилоты, в которых это требовалось. Но мы совершенно точно не считаем это своей главной задачей. Ретроспективный анализ приносит больше пользы и имеет гораздо больший «вау-эффект» для заказчиков. И что немаловажно, эта ниша на рынке сейчас гораздо свободнее.

- В каком направлении будет развиваться платформа Dataplan?

Направлений для развития возможностей платформы очень много, на текущий момент мы активно прорабатываем функциональный модуль, основанный на прогнозном мониторинге (predictive monitoring).

Также есть исследовательские работы и попытки выход за пределы ИБ. Одна из ближайших перспектив – HR как наиболее понятная и близкая нам тема, в разрезе задачи по оценке персонала. Если подойти к своим специалистам с популярной оценкой «360 градусов», которую применяют к клиентам, можно получить массу полезных результатов. Например, оцифровывая входящих кандидатов и понимая, что собой представляет коллектив, получится подбирать более сплоченную команду.

В 2018 году компания «Северсталь» создала платформу Промышленного интернета вещей (IIoT) и на ее основе начала работы по оптимизации производственных процессов. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital, уже рассказывал о построенной в «Северстали» платформе IIoT и ее задачах. Тогда мы беседовали с ним, анонсируя его выступление в рамках форума «Управление данными — 2019» .

Сегодня мы представляем Доната Фетисова как номинанта на премию CDO Award 2020, и речь пойдет в большей степени о достигнутых результатах и культурных изменениях, происходящих в компании.

— Чем металлурги могут выделиться среди конкурентов? При чем тут данные и как «Северсталь» себя видит в работе на этом направлении?

Начать нужно с того, что главная задача «Северстали» — рост эффективности: стремление иметь не максимальный оборот, а как можно больший показатель EBITDA. Поэтому одним из направлений происходящей сейчас трансформации является активное создание цифровых продуктов, использование данных и алгоритмов машинного обучения. И об этом мы регулярно говорим на встречах с инвесторами. Максимальное использование всех возможностей применения искусственного интеллекта как альтернативы «человеческим» решениям — вот что позволит нам выделиться. Да, для этого необходимы данные, много данных, и мы делаем все, для того чтобы получить как можно больше информации о производственных процессах, причем детальной.

Несколько лет назад мы определились со стратегией развития: выбираем направления, где с помощью технологий можем повысить эффективность процессов. И мы по-прежнему ее придерживаемся. И сейчас видим, что не только внедрение прорывных методов в производство и перестраивание взаимодействия с клиентом может дать результат. Мы можем улучшить показатели на несколько процентов за счет использования нестандартных (пока что) для металлургии средств оптимизации.

— Существует ли специфическая цифровая культура? Что в компании нужно менять и что делаете вы?

Да, культура существует, иначе бы о ней столько не говорили. Наши же действия можно уложить в три пункта.

Сбережение данных — это обязательное, «гигиеническое» правило, которое мы пытаемся продвигать повсеместно. Это не менее важно, чем бережное отношение к электричеству или воде. Мы стараемся сохранять данные, особенно возникающие в производстве на нижнем уровне – сенсоры сами по себе информацию не накопят. А ведь именно здесь зачастую случаются самые интересные открытия. Тщательно собирая данные, мы закладываем фундамент для новых знаний. Может показаться смешным, но даже сам факт признания этого — серьезный сдвиг в мировоззрении людей. Многие относятся спокойно к потере потенциально полезных данных — надеются, что в работе им помогут данные более высокого уровня, однако их не хватает для выявления закономерностей в самом производстве.

Второе направление усилий — повышение общего уровня понимания того, как строится работа с информацией. Именно это позволяет сблизить дата-сайентистов с бизнес-заказчиками и сильно ускоряет процесс, поскольку преодолевается разрыв между ними. Мы создаем внутренние курсы по работе с данными. Например, сотрудник может на примере производства, на котором он работает, понять, что такое потоки данных, какие можно использовать технологии. Осознав это, люди начинают говорить с нами на одном языке, и это формирует здоровую атмосферу для реализации проектов.

Наконец, мы пытаемся вовлекать сотрудников в работу по схеме самообслуживания. Разумеется, многие бизнес-пользователи хотели бы, чтобы им продолжали выгружать данные в привычный Excel. Но поскольку речь идет о больших данных, это, конечно, невозможно. Поэтому мы их обучаем работать именно с данными из «озера». Чтобы они могли их использовать: кто-то через Power BI, кто-то через веб-интерфейс Hadoop.

Эти три шага — важные моменты в продвижении культуры data-driven.

— Но ведь для вовлеченности пользователей мало дать им данные — важно, чтобы они захотели работать по-новому.

В своих проектах мы показываем, как это можно делать. Кроме того, в рамках обучения Data Governance мы займемся описанием данных и сейчас выбираем инструмент для создания каталога данных. Люди не только узнают, что можно делать с данными, но и будут иметь своеобразную «Википедию» по ним. Любые имеющиеся в компании данные должны быть доступны пользователям.

— Как вы пришли к проекту Data Governance?

Все организации проходят определенные стадии зрелости. Первая из них — когда приходит понимание того, что данные нужно централизованно собирать. На этом этапе как раз начинают создавать озеро данных. В этот момент в компании появляется узкая группа специалистов, умеющих это делать, и они жаждут «поиграться» с этими инструментами. Такая ситуация может существовать довольно длительное время. Но рано или поздно все начинают осознавать, что не должен управлять данными лишь этот небольшой коллектив — нужно вовлекать гораздо больше людей. Для реализации полноценного Data Governance необходимо, чтобы владельцы данных участвовали в процессе описания данных и их идентификации. Мы формируем каталог данных, определяем владельцев каждого домена данных и в конечном итоге хотим прийти к ситуации, когда точно известно, какая информация есть в организации, и понятно, с кем можно обсудить объекты и связанные с ними данные.

Нужно не просто научить людей работать с данными и дать им инструменты. Требуется вовлечь их в процесс «культивации» данных — следить за их качеством, доступностью и т. п. Это очень непросто делать, пока люди не воспринимают данные как актив.

— Какие проекты уже удалось реализовать на базе созданной платформы Интернета вещей? За счет чего достигается монетизация?

Финансовые эффекты проявились уже в 2018 году. Но более заметными для внешнего наблюдателя наши проекты стали, когда среди них появились модели управления производством. (Один из таких проектов — регулировка прокатки слябов с помощью алгоритмов машинного обучения. — Прим. ред. )

Монетизация происходит по-разному — не всегда речь идет об управлении агрегатами. У нас есть ряд проектов, направленных на снижение простоев за счет предсказания аварийных ситуаций и планирования ремонтов. Кроме того, хорошие результаты дают проекты, направленные на обнаружение дефектов. Это довольно актуальная тема именно для металлургов: в производстве выполняется много переделов, и на каждом из них есть риски возникновения дефектов, на что клиенты реагируют очень болезненно. Мы создали модель, дополняющую ранее существовавший комплекс и позволяющую немного точнее (а в некоторых случаях и существенно точнее) выявлять дефекты.

Всего мы запустили в эксплуатацию около 15 проектов, касающихся разных аспектов, — прогнозирование необходимости в обслуживании, экономия ресурсов, оптимизация действий, устранения дефектов, ускорение процессов. Все направления, где просматривался очевидный экономический эффект, мы уже охватили. Но у нас еще много площадок для применения новых подходов. Предприятия, вдохновленные нашими результатами, все чаще обращаются к нам.

— Вы пытаетесь оценивать эффективность своих проектов?

Я представляю порядок цифр получаемых результатов. Они не только многократно превышают затраты на работу нашего подразделения, но и заметны в общей прибыли. Надо понимать, что повышение эффективности процессов металлургического комбината даже на несколько процентов может дать финансовый результат, сравнимый с бюджетом средней компании.

— Как происходит отбор и приоритизация проектов? Наверняка кандидатов больше, чем имеющихся ресурсов.

Мы проводим ранжирование в первую очередь по ожидаемому эффекту, так как в деятельности нашего подразделения существует лишь один приоритет — финансовый результат. Именно поэтому приходится все аккуратно считать. Имея перед глазами портфель проектов-кандидатов, напротив каждого из которых стоит число, можно без затруднений решить, на чем сосредоточить силы.

Разумеется, есть и другие факторы, но они скорее относятся к ограничениям: доступность данных, готовность инфраструктуры, наличие времени и ресурсов на площадке у заказчика. Из-за этого некоторые проекты, перспективные с точки зрения ожидаемого эффекта, приходится тормозить, пропуская вперед другие.

Сейчас у нас в очереди не меньше десятка проектов. Причем часто бывает так, что один реализованный проект порождает несколько других. Однако наш коллектив каждый год удваивается, и мы себя чувствуем комфортно.

— Чему вы научились в ходе работы над платформой Интернета вещей? Какие выводы сделали как руководитель?

Основной урок в том, что рост культуры работы с данными напрямую зависит от числа вовлеченных людей. Да, профессионализм коллектива важен, но при плохом раскладе специалисты по работе с данными превратятся в анклав, который будет работать закрыто и к которому остальные не будут даже подходить. Руководитель, начинающий путешествие в мир работы с данными, должен это понимать. Я совершенно четко увидел, что чем больше людей вовлечено, тем быстрее получится добиться результата.

И второе: чтобы количество заказчиков росло, нужно всеми способами менять их сознание, показывая, каких целей можно добиться.

— Что бы вы сделали по-другому, если бы представилась возможность начать заново?

Как известно, история не терпит сослагательного наклонения. Оглядываясь назад, могу сказать, что процесс подготовки инфраструктуры следовало бы начать заранее — это могло бы существенно ускорить многие проекты. Часто задержки возникают вовсе не из-за отсутствия данных, а из-за обидных «мелочей»: недостаточно широкая сеть, нет какого-то помещения, не хватает людей. В некоторых новых проектах по-прежнему приходится решать эти проблемы ситуативно. Однако на первых этапах у нас не было аргументов в пользу таких вложений.

Хочу отметить еще один важный момент: хотелось бы как можно раньше начать накапливать даже не сами данные, а знания о них. Такая задача встает в каждом новом проекте, и внедрение каталога данных на более раннем этапе помогло бы ее решить. Но здесь имеем традиционную дилемму: либо делать продукты по Agile и «приносить быстрое счастье», либо вкладываться в подготовку и откладывать получение результатов на будущее. В современном мире обычно предпочитают первый подход.

Надо сказать, что на первом месте у нас всегда стояло получение эффекта, поэтому все, что мы делали, было довольно последовательно.

— Как вы видите свою роль и роль своего подразделения в развитии «Северстали»?

Я считаю себя евангелистом в двух аспектах: продвижение современных технологий для работы с данными и продвижение самих методик работы с данными. Союз технологий и подходов data science — то, что мы продвигали и будем продвигать.

Вторая важная роль — повышение доступности и прозрачности данных различных подразделений. Да, у нас на первом месте стоит получение финансового эффекта, но на втором — оздоровление ситуации с данными. По мере того как ставки растут, степень готовности данных перестает устраивать компанию. В любых проектах поиск и подготовка данных — это существенная часть работ. Сократив ее, мы сможем в разы повысить скорость реализации проектов.

X5 Retail Group все чаще предстает на рынке как технологическая компания: большие данные и машинное обучение, магазин без покупателей и лаборатории инноваций, электронные ценники и многое другое. В числе ключевых направлений стратегии цифровой трансформации ретейлера — создание готовых аналитических продуктов на базе собственной Big Data Analytical Platform. Бесспорно, компания рассматривает большие данные как важнейший бизнес-актив.

О том, как строится работа с данными, Антон Мироненков, директор по большим данным X5 Retail Group, рассказывал в качестве номинанта первой премии CDO Award 2019. С тех пор сделано многое.

В X5 создали аналитический слой больших данных с сервисом, доступным каждому из 2 тыс. аналитиков компании. С его помощью они смогут быстро принимать решения на базе больших данных, анализируя все основные типы данных: товары, чеки, клиентов-поставщиков и их контрагентов. Количество продуктовых команд выросло с 8 до 15. Алгоритмы становятся в Х5 неотъемлемым элементом культуры data-driven, когда все решения принимаются на основе данных и продвинутой аналитики. Так компания может снизить цену человеческой ошибки и ускорить принятие решений.

Но самое интересное — в X5 сформировалось направление внешней монетизации данных. Ретейлер, располагающий большими данными и оснащенный арсеналом средств для их обработки, сам становится поставщиком информационных услуг для своих партнеров. «Зачем отдавать ‘руду’, если можно переплавить ее в ‘сталь’ и продавать уже готовое решение?», — говорит Антон Мироненков, номинант CDO Award 2020.

Сейчас X5 развивает два основных направления внешней монетизации, для которых в дирекции больших данных разработали собственные программные решения: таргетинг рекламы и портал поставщика. Компания чрезвычайно внимательно относится к данным и предъявляет повышенные требования к работе с ними, ориентируясь на лучшие мировые и европейские практики.

Рекламным площадкам — топливо для двигателя торговли

Чтобы выяснить, какая категория потенциальных покупателей действительно заинтересована в конкретном продукте и какой аудитории стоит показывать рекламу, клиенты и партнеры X5 обращаются к аналитическому сервису, использующему накопленные данные об истории продаж для таргетирования цифровой рекламы. Из информации о продажах можно с высокой вероятностью выявить, к примеру, потребительские привычки владельцев кошек как социальной группы и т. д. Следует особо отметить, что сервис использует только аналитическую информацию и не содержит персональных данных клиентов.

Инструмент дает рекламным агентствам и носителям рекламного инвентаря возможность самостоятельно конструировать сегменты любой сложности из более чем 1,3 тыс. категорий товаров в зависимости от частоты продаж бренда и других параметров, а затем запускать рекламные кампании на ресурсах Mail.ru, «Яндекса», Facebook, Instagram и GPMD в адрес социальных групп, имеющих идентичные потребительские предпочтения.

«Наконец поставщики и рекламодатели могут оценить, насколько их реклама была эффективной, — говорит Мироненков. — За это с нами готовы делиться частью рекламных бюджетов».

Методология основана на оценке роста продаж и по своей сути схожа с классическим А/В-тестированием, позволяя сравнить изменение покупательской активности при взаимодействии с рекламой продукта и в ее отсутствие. С максимально возможной точностью из оценки исключается влияние таких факторов, как сезонность, промоакции, активность конкурентов. Решение дает возможность на основании статистически значимых данных сделать выводы о влиянии креативности, частоты, предложения и формата рекламы.

В следующую версию программного продукта добавят опции создания смешанных таргетингов, формирования сегментов по склонности к покупке бренда или категории, определения аудитории с максимальной вероятностью покупки в период рекламной кампании, а также анализа результатов видео- и аудиорекламы в магазинах.

Поставщикам — аналитика в розницу

Отделы категорийного, бренд- и маркетинг-менеджмента любого производителя хотят понимать, востребована ли на рынке выпускаемая продукция и насколько хорошо она продается. И кто как не ретейлер обладает максимально глубокими сведениями о том, как меняется поведение потребителя, его корзина и предпочтения?

Второй внешний сервис, родившийся в дирекции больших данных X5, — аналитический портал поставщика, который предназначен для категорийной и потребительской аналитики. Несколько модулей, аккумулирующих историю продаж и информацию о поведении потребителей, позволяют находить способы улучшения бизнес-показателей.

Инструмент помогает партнерам не только анализировать продажи, но и выявлять источники изменения спроса и изменения продаж на конкурирующие торговые марки, отслеживать ротацию, перемену предпочтений.

По мере развития продукта на его аналитических модулях воплощается множество пилотных проектов. Для цифровых кампаний и мультикатегорийных тестов изучаются эффективность продаж и магазинов, уровень возврата инвестиций, источники изменения продаж, а также факторы, влияющие на изменение потребления. Для того чтобы оценить успешность запусков новых товаров, определяются эффективность запуска по сравнению с аналогичными, длительность «эффекта новизны» для продаж, источники продаж и доля каннибализации. По словам Мироненкова, информация о запускаемых на рынок новинках очень востребована: как эти новинки принимают, покупает ли их молодежь или люди среднего возраста, каков средний чек покупки? Портал дает поставщикам редкую возможность точно увидеть, какие социально-демографические характеристики присущи аудитории потребителей продукции и как аудитория реагирует на те или иные действия.

Пока на портале доступен функционал для формирования трех отчетов: диагностика категории, источники продаж и миграция покупателей. Предполагается, что число отчетов в программе будет расти. Уже в первом полугодии 2020 года планируется ввести в промышленную эксплуатацию еще восемь модулей, которые сейчас тестируются партнерами: для анализа промоакций, анализа корзины, построения дерева принятия решений, профилирования, анализа репертуара покупок, а также тестирования, кластеризации магазинов и трекинга запуска новинок.

Доступ к программе предоставляется на основании лицензионного договора. За фиксированную плату поставщик получает на определенный период времени доступ к функционалу программы и приобретенным аналитическим отчетам по его продукции и категории.

Новая на российском рынке услуга воспринимается клиентами очень по-разному, иногда настороженно, несмотря на то что представители поставщиков могут сравнивать свою компанию только с категорией в целом, а не с конкретными конкурентами. Аналитический портал поставщика предоставляет уникальную для рынка аналитику как по содержанию, так и по срокам ее получения, утверждают в X5. «Никто из ретейлеров в нашей стране этого еще не делал, а за рубежом похожие проекты обычно реализуются с внешними компаниями», — говорит Мироненков. Кстати, аналитики, работающие в самой X5, тоже заинтересовались новым информационным сервисом и намерены им пользоваться.

У чистого истока

Проблемы, с которыми CDO пришлось столкнуться в этом проекте, типичны: при всем обилии больших данных, для выполнения конкретной задачи их приходится добывать, очищать и обрабатывать разными способами, чтобы получить нужные разрезы. И это требует существенных затрат. «Мы тратим приблизительно одинаковое время на собственно разработку продукта и на то, чтобы добыть для него данные, настроить регулярное обновление и сделать витрину чистой, с корректной и аккуратной выдачей», — делится Мироненков.

Портал поставщика использует исключительно легальные внутренние источники данных, главным образом чековую информацию и данные программ лояльности. Для повышения качества данных в момент их загрузки применяется набор, состоящий из примерно 70 тестов, в ходе которых выявляются экстремумы, пустые интервалы, отсутствующие данные и пр. Такая работа постоянно ведется в отношении всех формируемых в компании витрин данных.

Если на вход поступают «грязные» и некачественные данные, то добиться их чистоты невозможно, полагает Мироненков. Поэтому внутри бизнес-подразделений были назначены ответственные за то, чтобы в их домене генерировались нужные данные требуемого качества. Им «дали руки» — технических специалистов, которые помогают выгружать данные из систем, описывать, создавать регламенты и следить за их исполнением.

Кроме того, дирекция больших данных организует семинары, проводит внутренние конференции и воркшопы. «Если бизнес хочет решать какие-то задачи, используя, например, данные о перевозках, сначала надо научиться такие данные сгенерировать и озаботиться тем, чтобы они были качественными», — рассказывает Мироненков. Значит, необходимо вместе прикладывать все силы, чтобы эти данные правильно создавались, хранились и выгружались — без пропусков и в допустимых диапазонах.

И, самое главное — нужно, чтобы все понимали, как агрегируются и считаются эти данные. Если в системе фигурируют три разных показателя выручки, не всегда можно понять, какой из них что означает. Поэтому, кроме технических действий по очистке и фильтрации больших данных, необходим каталог данных, который содержит метаданные, описывающие как получены эти данные, из какого источника взяты. С его помощью можно понять, какой из показателей следует выбрать в конкретном случае. Это важный элемент, помогающий формировать культуру работы с данными и дающий понимание, что информация собирается не для дирекции больших данных, а для бизнеса. «Мы можем только помочь, обеспечить техническую и методическую поддержку, но, если сам бизнес не будет этим озабочен, ничего не получится», — подчеркивает Мироненков.

Пять к одному

Функции дирекции больших данных не ограничиваются только лишь обеспечением приемлемого уровня качества данных, их доступности и технической возможности анализа через витрины. Еще одно большое направление деятельности — разработка продуктов. «Продуктовые команды по большей части состоят из наших сотрудников, мы занимаемся и созданием архитектуры продукта, и разработкой кода, и бизнес-анализом», — отмечает Мироненков.

До сих пор продукты создавались с прицелом на внутреннюю монетизацию, на результат в существующем бизнесе: сокращение издержек, увеличение продаж или их прибыльности. Изменение этих показателей даже на доли процента в масштабе всего бизнеса X5 — это уже огромная цифра, поэтому внутренняя монетизация по-прежнему остается более значимой для компании. Это отражается и в соотношении сил: на внутренний «рынок» работает порядка 15 команд, на внешний — только одна, правда, большая. По мнению Мироненкова, в ближайшие годы существующая пропорция сильно не изменится. «Масштаб внешней монетизации все-таки не столь велик, мы пока только набираем пользователей, — говорит он. — Чтобы выйти хотя бы на тот же уровень доходности, который мы имеем внутри, потребуется не один год».

Услугами таргетинга сейчас пользуются свыше 20 компаний, включая MyTarget, «Яндекс», Facebook и «большую четверку» рекламных агентств. Тех, кто пользуется порталом поставщика, пока немного, но с пятью десятками компаний ведутся активные переговоры, и ожидается, что вскоре число подключившихся существенно увеличится. Аналитические сервисы приносят компании десятки миллионов рублей — для такого гиганта, как X5, не очень значительные объемы. Однако работа по внешней монетизации больших данных отлично окупается — соотношение прибыли к затратам составляет примерно пять к одному.

В 2020 году компания планирует расширить линейку продуктов, предоставляющих рынку новые возможности использования своих больших данных.

Три года назад в банке «Уралсиб» был организован департамент искусственного интеллекта и анализа данных (ArtificiaI Intelligence and Data Analytics Office) – AIDA. Инициатор создания этой структуры и ее руководитель, старший вице-президент банка Юрий Сирота позиционирует себя как Сhief Аnalytics Оfficer. Но по существу его деятельность близка концепции CDO 4.0, недавно предложенной аналитиками Gartner. Руководитель AIDA видит основную задачу своего подразделения в том, чтобы проекты в области продвинутого анализа данных и искусственного интеллекта впрямую влияли на прибыльность банка, его конкурентоспособность.

Юрий Сирота, номинант премии CDO Award 2020, рассказывает о своем детище, о том, как с помощью AIDA в банке формируется культура data-driven, и каким образом проекты департамента обеспечивают реальную монетизацию данных.

- Как создавалась AIDA?

Я пришел в банк «Уралсиб» с идеей организовать структуру, целью которой стало бы развитие сервисов монетизации данных и внедрение подходов data-driven к ведению бизнеса. На тот момент это была действительно инновационная идея.

За три года пройден немалый путь. Чтобы прийти к успеху, недостаточно иметь инструменты и знания, необходимо еще суметь внедрить сервисы, то есть решить проблемы реализации в конкретной продуктивной среде, преодолеть сопротивление инновациям. Путь непростой, но мы успешно справляемся с трудностями.

- Но примерно в это же время многие компании организовывали структуры для работы с большими данными. В чем уникальность и инновационность AIDA?

Когда мы говорим о big data, то чаще всего подразумеваем хранение, упорядочивание, качество данных, глоссарий, предоставление данных. Основная задача AIDA – не big data, а big monetization, или big value data. Монетизация не обязательно достигается через аналитику больших данных. Успех подразделения определяется полученной банком прибылью, а не количеством накопленных петабайтов данных, не дороговизной оборудования или числом сотрудников.

- То есть в аббревиатуре AIDA ключевое слово – не data, а analytics?

Analytics и intelligence. Продвинутая аналитика – одно из направлений раздела знаний об искусственном интеллекте. Другие направления – применение методов ИИ для интеллектуальной оптимизации процессов, чат-боты, компьютерное зрение, обработка естественных языков, то есть функции, обычно присущие человеку. Безусловно, монетизация по большей части относится к аналитике данных, но мы работаем и с другими направлениями искусственного интеллекта.

- В чем инновационность AIDA с точки зрения оргструктуры?

Инновации почти всегда встречают сопротивление. Чтобы его преодолеть, нужен организационный ресурс, а чтобы этот ресурс работал, необходима значимая позиция внутри банковской оргструктуры. Поэтому AIDA находится в блоке стратегического развития и курируется заместителем председателя правления банка. Неправильно, когда такие структуры входят в состав какого-то департамента, потому что тогда трудно распространять инновации на всю организацию.

В AIDA три основные компетенции: инженеры данных, специалисты BI и аналитики данных. Первые подготавливают данные, вторые готовят аналитические приложения, третьи анализируют данные и строят математические модели. Надо сказать, что подготовка данных – это 90% всех трудозатрат, хотя основная ценность приходится на оставшиеся 10%.

В состав AIDA входит центр компетенций BI, который занимается созданием удобных аналитических приложений со встроенной аналитикой (augmented analytics). Благодаря работе этого центра пользователи, не имеющие навыков математических исследований, получают в свое распоряжение встроенные в дружественный интерфейс предcказательные и предписательные модели, а не только ретроспективную отчетность. Так мы продвигаем методы продвинутой аналитики «в массы».

Успех любого проекта AIDA – кросс-функциональная команда, во главе которой стоит бизнес-заказчик. Он понимает, откуда можно извлечь выгоду, подсвечивает узкие места в своем бизнесе. А сотрудники AIDA помогают улучшить процессы с помощью инструментов, соответствующих конкретной задаче. Если подразделение входит в структуру блока стратегического развития, это способствует формированию таких междисциплинарных команд. Тем самым организуется увязка проектов AIDA с бизнес-стратегией банка.

- Сложилась ли в банке культура data-driven? Можно ли сказать, что AIDA является ее основным драйвером?

Такая культура складывается. Успешные проекты AIDA способствуют ее продвижению. Бизнес-заказчики уже приходят к нам с просьбой принять участие в их процессах.

Главное, что я стараюсь донести до заказчиков, – смотрите на те сущности, которые вас интересуют, на любые ваши процессы, на отчетность. Если эти процессы поддаются математическому моделированию, значит, мы можем пытаться предсказывать их показатели, то есть получить возможность их оптимизировать, сократить затраты, улучшить маржинальность. Это математика предсказаний, показывающая, куда движется та или иная сущность. Дальше может вступить в дело математика предписаний, дающая рекомендации, что нужно сделать для того, чтобы эта сущность имела именно те значения, которые нам необходимы.

Это широчайшее поле для поиска идей монетизации.

- Как организован поиск этих идей? Кто выступает инициатором — AIDA или бизнес?

Это двунаправленный процесс. Заказчики приходят к нам со своими болями. Как правило, результата удается достичь быстрее и эффективнее, когда инициатива вызревает в бизнес-подразделении. Однако человек в должности CDO — не только «реализатор» чужих идей. Он должен еще и сам их генерировать и продвигать. Понимание стратегии организации и ситуации на рынке помогает выявить перспективные направления монетизации.

Один из источник таких идей – отчетность. В ней содержатся данные ретроспективной аналитики, и можно задаться вопросом, какими эти показатели могут стать в будущем и что надо сделать для того, чтобы получить интересующие нас значения.

Еще одно направление поиска идей для монетизации – это бесхозные процессы на стыке нескольких департаментов. Там, где нет единого хозяина, деятельность обычно не очень эффективна, и есть поле для оптимизации и получения выгоды.

- Какие проекты монетизации данных реализованы в AIDA?

Как правило, в банках подходы data-driven развиты в службах риск-менеджмента, в розничном бизнесе. Но везде, где можно провести сравнение «больше-меньше», «выгоднее-убыточнее», «быстрее-медленнее», применима математика, а, значит, процесс можно пытаться оптимизировать и получить выгоду. Поэтому сервисами AIDA уже активно пользуются служба финансового мониторинга, коллекторский бизнес, блок операционной поддержки, подразделение малого бизнеса.

Из реализованных за последний год можно выделить проект для коллекторского бизнеса — выявление заемщиков с просроченной задолженностью, у которых вероятность возврата задолженности больше. Оптимизировав средства взыскания просроченной задолженности, можно обеспечить внушительную монетизацию.

В клиентском бизнесе стартовал проект по сокращению оттока клиентов и увеличению маржинальности. Сокращение оттока – это недопущение потерь прибыли, увеличение маржинальности бизнеса – это рост продаж, кросс-продаж, поднятие суммы продаж. Такие сервисы уже начинают внедрять в малом бизнесе.

Проект по кеш-менеджменту обеспечивает оптимизацию процессов блока операционной поддержки – сокращение избыточного фондирования наличности в банкоматах и в кассах дополнительных офисов.

- На премию CDO Award 2019 вы представляли проект Anti Money Laundering по выявлению токсичных, то есть совершающих противозаконные транзакции, клиентов. Как развивался проект за истекший год?

Мы продолжаем работать над математическим аппаратом этого решения — улучшаем набор и качество инструментов. Недобросовестные организации постоянно совершенствуют свои методы реализации незаконных операций, и мы вынуждены их догонять. Если инструменты аналитики данных не «тюнинговать», они становятся бесполезными, а если не делать этого на протяжении долгого времени, могут начать работать во вред. Это бесконечный цикл подготовки данных, их обогащения, улучшения качества моделирования, внедрения в продуктив. Ни один такой проект после его осуществления не может быть сделан и заброшен, его необходимо улучшать, иначе он будет деградировать.

- С какими данными и с какими техническими решениями работает AIDA?

Хочу подчеркнуть, что мериться надо не петабайтами данных, а результатами монетизации, достигнутой с помощью данных. Для big value data не обязательно иметь озера данных, может быть достаточно таблицы Excel. Я не пропагандирую устаревшие подходы, но скажу, что при выборе задач, источников и инструментов мы исходим из ценности, которую данные доставляют. Монетизация – это совокупность организационных, психологических, математических, технологических компонентов, а также различных аспектов, обусловленных спецификой бизнеса. Инструменты – необходимое, но недостаточное условие успешной монетизации, так же как и толпа математиков, дорогое ПО и оборудование не являются гарантами успеха.

Поэтому мы делаем упор на оргсоставляющую инноваций, на поиск и развитие математической и аналитической экспертизы (все специалисты по data science в AIDA имеют фундаментальное математическое образование), а также на формирование в банке культуры data-driven.

Что касается технологий, то мы используем реляционную СУБД Oracle (с упорядоченными и чистыми данными проще работать в аналитике), математические программы с открытым кодом (пакеты R, Python) вполне отвечают предъявляемым нами требованиям.

Кроме того, используем стек BI-технологий с возможностью интегрировать математические инструменты. BI – это первый шаг к аналитике. Даже в рамках привычного BI-интерфейса для неискушенных пользователей мы внедряем продвинутую аналитику.

- Есть ли необходимость работать с внешними данными?

Да, мы используем данные информационных агентств, бюро кредитных историй, информацию из социальных сетей, сотрудничаем с телекомом.

- Давайте подведем итог. В чем вы видите стратегическую роль AIDA для банка? Каковы планы развития вашего подразделения?

Банковский бизнес не является высокомаржинальным, конкуренция тут жесткая, поэтому мы должны бороться за каждую сотую долю процента доходности. Необходимо не просто улучшать процессы, но делать это глубже и качественнее, чем конкуренты. Монетизация, которую обеспечивают проекты AIDA, может давать банку ощутимые преимущества на рынке.

Планы на будущее – увеличить число заказчиков, количество проектов и доходность уже реализованных, популяризировать data-driven организации. Если об инновациях не рассказывать, то невозможно успешно их внедрить.

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом различных видов моторного топлива компании через собственную розничную сеть, состоящую из более чем 1,8 тыс. АЗС и включающую свыше 800 магазинов и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Кроме того, подразделение отвечает за товаропроводящую сеть, в которую входят нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекции работают более 20 тыс. сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

В ДРП построена уникальная на сегодняшний день платформа — smart data lake. В ее рамках озеро данных и аналитическое хранилище данных интегрированы с инструментами Data Governance. Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж «Газпром нефти» и номинант на премию CDO Award 2020, рассказывает о пути к созданию умного озера данных, о первых результатах и ближайших направлениях развития.

- Какова история подходов к работе с данными в Дирекции региональных продаж?

У нас сложилась уникальная для крупного бизнеса ситуация с автоматизацией и управлением данными. Наше сбытовое подразделение было выделено в «Газпром нефти» в 2008 году. Тогда же пришла команда топ-менеджеров, сохранившая свой состав по сей день, и стартовала программа унификации процессов, а затем и информационных систем всех дочерних предприятий. В этой програме я принимал активное участие.

В 2009–2011 годах в ДРП были внедрены унифицированные для всех регионов учетные и производственные системы: системы управления АЗС, коммерческого, бухгалтерского и управленческого учета, планирования и бюджетирования, управления инвестициями, персоналом, автотранспортом и др. Это позволило создать институт владельцев систем и через него управлять регламентами ведения первичных данных, расчета ключевых показателей и их изменения. С помощью сравнительного бенчмаркинга показателей регионов были найдены лучшие способы, позволяющие экономично вести деятельность. Благодаря тиражированию этих практик ДРП, в течение трех лет удалось существенно сэкономить затраты и добиться прироста продаж. Сбыт моторного топлива «Газпром нефти» стал признанным эталоном эффективности в России.

- Когда и как пришло понимание того, что надо заниматься развитием комплексных аналитических решений?

Иван Черницын: «Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий».

В 2011 году мы задумались об интеграции данных всех учетных и производственных систем в едином аналитическом пространстве, чтобы находить новые инсайты. Для этого мы разработали и внедрили систему управления нормативно-справочной информацией и подошли к выбору платформы класса BI. В конце 2012 года проект BI стартовал. В его ходе мы отказались от создания единого хранилища данных ради скорости реализации аналитических задач, взамен было организовано логическое хранилище с единым семантическим слоем на платформе Qlik. Благодаря очень удачному архитектурному решению наша BI-система за четыре года стала одной из самых функциональных и крупномасштабных в России. У всех сотрудников появились единый бизнес-словарь и набор гибких аналитических инструментов с едиными методиками и терминологией.

Мы также сформировали центр компетенции по BI, объединивший не только системных аналитиков, архитекторов и разработчиков, но и экспертов по качеству данных. Благодаря организации эффективной работы и очень пристальному вниманию к качеству данных, к концу 2016 года с единым BI работали уже более 1,1 тыс. пользователей. Это решение аккумулировало данные свыше 80 корпоративных систем, а очередь на разработку нового функционала от бизнес-заказчиков состояла из более чем 200 задач.

Вместе с тем за годы работы с аналитическими инструментами выросла культура сотрудников и стали меняться требования подразделений. Усложнялись алгоритмы обработки данных, рос их объем и количество источников, появлялось все больше внешних данных. Кроме того, бизнес-аналитикам требовались актуальные диаграммы происхождения данных, различная статистика по качеству данных, инструменты поиска данных на внутренних слоях BI. У нас возникла необходимость в проактивном управлении качеством данных.

- Какой подход был выбран?

Чтобы удовлетворить наши новые потребности, мы совместно с фондом «Сколково» в 2016 году масштабно исследовали рынок решений, изучили рекомендации DAMA DMBoK, пообщались с экспертами Gartner и сделали много референс-визитов. В итоге остановились на концепции комплексной системы управления данными. Она включала в себя каталог данных с описаниями и происхождением объектов данных, каталог правил по качеству данных с возможностью обогащения правил и просмотра их статуса и истории, бизнес-глоссарий с инструментами управления изменениями определений и формул расчета бизнес-терминов, а также пользовательский портал. С целью сделать детальные данные доступными для аналитиков мы провели изыскания в области промышленных инструментов обработки и хранения данных, после чего было решено внедрить современное многокомпонентное логическое хранилище данных.

- В чем заключалась суть этого проекта?

В конце 2017 года мы сформировали и защитили программу из двух взаимосвязанных проектов («Создание озера данных ДРП» и «Создание системы управления данными ДРП») как часть стратегии цифровой трансформации нашего бизнеса. Совместный результат программы проектов мы стали называть «умным озером данных», в соответствии с зарубежными терминами smart data lake и governed data lake. Я стал лично отвечать за программу, а наш центр компетенций расширился на 20 человек и получил в 2018 году сначала название «Офис управления данными», а затем, в 2019 году, — «Центр аналитических решений». Сейчас у нас более 60 сотрудников, и в едином подразделении работают специалисты по качеству данных, по управлению метаданными, разработчики и архитекторы big data, хранилищ данных и BI, системные аналитики, исследователи данных, а также тренеры по развитию аналитической культуры.

- Тренеры по развитию аналитической культуры? На кого именно направлена их деятельность?

На всех бизнес-сотрудников, которые используют или хотят использовать аналитические решения либо хотят изменить свою роль в подразделениях.

В нынешнем году у нас появилась матрица компетенций, включающая как технические, так и нетехнические навыки, уровни развития компетенций, индикаторы их наличия. К этой матрице привязаны программы обучения, семинары и тесты. За 2019 год более 400 специалистов прошли обучение по Python, SQL, машинному обучению и применению аналитики в различных направлениях бизнеса. Неплохо для начала. За прошлые годы на курсах по BI в общей сложности обучилось 1,2 тыс. человек.

Сейчас разрабатываем онлайн-курсы для удаленных сотрудников и программы тестирования. В дальнейшем сотрудники, которые не прошли тесты, подтверждающие соответствующие компетенции, не будут допускаться к работе со сложными аналитическими инструментами. Неподготовленные сотрудники не должны дискредитировать своими действиями всю аналитическую программу. Полученные ими некорректные результаты или интерпретации могут привести к самым нежелательным последствиям — подрыву доверия к данным со стороны руководителей бизнеса.

- Что такое «умное» озеро данных? Чем оно отличается от «обычного»?

Согласно оценкам Gartner, в мире 83% озер данных превращаются в «болота данных» и в итоге забрасываются из-за проблем с поиском качественных данных. Еще сильнее усложняет ситуацию то, что все больше компаний используют гибридную архитектуру хранения (часть данных хранится в публичных облаках, а часть — в корпоративных озерах и хранилищах). Выходом из ситуации является создание озер и хранилищ с интегрированными инструментами управления данными: каталогом данных, системой управления качеством данных, бизнес-глоссарием, средствами интеграции и маскирования данных. Однако на сегодняшний день не существует готовых промышленных решений, включающих в себя комплексные платформы обработки, хранения и управления данными. К созданию таких решений приблизились Microsoft и Amazon в своих публичных облаках. В материалах Gartner и публикациях вендоров описаны архитектурные шаблоны для таких решений.

- С какими проблемами пришлось столкнуться в ходе проекта?

Подобных решений нет не только в России, но и на Западе. И вообще было непонятно, как это будет работать на практике.

В Gartner признают, что «умное озеро данных» — это не практическое решение, а продвинутый архитектурный шаблон на будущее, который сегодня апробируют Microsoft и Amazon в собственных облаках. А мы построили все это на своей площадке.

Мы реализовывали умное озеро данных на базе практических бизнес-кейсов, входящих в состав актуальных проектов, при этом обкатывая совместную работу компонент и участников команды разработки. Проект был крайне сложным, мы несколько раз меняли подходы и переделывали реализованные кейсы, когда находили новые решения. Только организовав работу всех участников в одной команде с единой мотивацией, мы смогли преодолеть огромное множество технологических и методологических трудностей.

- Какова архитектура созданной платформы данных? На каких решениях она построена?

«Умное озеро данных ДРП» — название комплексной системы управления данными, а не просто разновидность Data Lake. Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. Умное озеро данных ДРП включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science.

- Какие источники данных вы используете в своей работе?

К внешним источникам можно отнести Санкт-Петербургскую товарно-сырьевую биржу, «СПАРК-Интерфакс», Портал открытых данных РФ, сайты Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. И конечно, мы широко охватываем наши внутренние системы.

- Как в рамках проекта выстроена работа с качеством данных?

Система управления качеством данных была выстроена очень серьезно в рамках развития единого BI. Исторически это реактивная система, которая развивалась через разрешение инцидентов с данными (аналог service desk), но она весьма эффективно работала. В 2015 году мы создали выделенную функцию по качеству данных, за 4 года выросшую в подразделение из семи человек, чьей задачей было системно не допускать повторных ошибок. Эти специалисты формализовывали причины появления дефектов данных и формировали запросы на доработку систем-источников или BI-инструментов. Поскольку BI-система интегрировала все ключевые данные в контуре ДРП, выполняла массовое устранение причин дефектов в данных через решение ежедневных обращений от сотен сотрудников, большой эффект распространялся на все системы и в целом на культуру работы с данными в контуре всех наших подразделений.

Однако, после того как число BI-приложений в парке выросло до нескольких сотен, созданными правилами стало сложно управлять, при доработках для различных заказчиков начали возникать несоответствия в требованиях по качеству данных. Исправить ситуацию помогла идея централизованного каталога правил по качеству данных, чтобы правила можно было видеть в разрезе потоков данных и ключевых наборов данных, витрин или BI-приложений и привязывать к аспектам качества, бизнес-процессам, определять уровень их критичности. Это дает возможность видеть не только существующие правила, но и пробелы в них. Возможные проблемы можно предвидеть еще до их появления — система управления качеством становится проактивной. Чтобы внедрить такую систему, мы при формировании умного озера данных предусмотрели промышленное решение класса Data Quality, охватывающее именно эти функции.

Вследствие этого в подразделении по качеству данных фокус сместился с прошлого на будущее: если раньше все внимание было направлено на устранение причин уже произошедших ошибок в данных, то сейчас — на разработку системы проактивного мониторинга, продумывание и настройку правил по качеству данных, чтобы тем самым избежать ошибок.

- Насколько обязательно для бизнеса использование созданной вами платформы?

На созданной централизованной аналитической инфраструктуре мы реализуем актуальные задачи исходя из бизнес-приоритетов. При таком подходе с течением времени все ключевые данные и аналитические модели окажутся в умном озере данных.

Однако, чтобы наш ресурс не стал «бутылочным горлышком», мы не мешаем создавать в некоторых проектах локальные аналитические решения со своими отдельными командами. Выбор нашей инфраструктуры и нашей внутренней команды — это дело добровольное для бизнес-заказчиков. Мы делаем ставку на то, что завтра эффективность и высокое качество работы нашей команды приведут к полному охвату всех задач и данных ДРП в умном озере данных.

Точно такая же схема работы была во времена BI, когда внутренний Центр компетенций по BI за несколько лет вытеснил всех внешних подрядчиков. Подразделения просто перестали заказывать работы извне, потому что мы смогли очень качественно решать все задачи своими силами.

- Приведите в качестве примера несколько наиболее ярких проектов, реализованных в последнее время.

Первые кейсы включили в себя конвейер обработки транзакций АЗС, расчет сегментов для клиентской аналитики, семантический анализ обратной связи от клиентов в различных каналах, обработку многолетних внешних и внутренних данных о ценах на нефтепродукты. Несмотря на трудности, уже первичное внедрение стало успешным: на текущий момент примерно половина всех аналитических проектов и инициатив ДРП уже реализуется в контуре умного озера данных, план на 2020 год — охватить не менее 75%.

- Можно ли что-то сказать о первых финансовых результатах этих проектов?

Эффект от озера данных нужно считать очень трезво. Пока очевидно лишь то, что мы экономим на интеграции данных для многих проектов, сокращаем время поставки готовых наборов данных для всех будущих проектных и продуктовых команд, а также для задач прототипирования.

Когда мы только пилотировали клиентскую аналитику — расчет сегментов с помощью машинного обучения, — уже первые кейсы, сделанные «на коленке», без всякого озера данных, дали серьезную монетизацию. Возврат клиентов, склонных к оттоку, вырос втрое. Существенное преимущество озера в том, что модели переносятся в более надежную среду, получают надежные инструменты, обеспечивающие качество данных. Поэтому большинство эффектов будет проявляться спустя некоторое время.

- Почему именно сбытовое подразделение компании выступило в авангарде создания умного озера?

В двух других крупнейших бизнес-блоках «Газпром нефти» тоже внедряются озера и аналитические хранилища данных, они сфокусированы на обработке и хранении данных и быстрой разработке и монетизации бизнес-кейсов, но не на Data Governance.

Архитектура smart data lake, которую мы реализуем в ДРП, — самая сложная из всех существующих для работы с большими данными. В Gartner отмечают, что организация, прежде чем к ней прийти, должна сначала внедрить у себя более простые варианты. Мы в блоке ДРП семь лет развивали BI и управление качеством данных, отработали интеграцию множества источников, конвейеры обработки данных, большое число бизнес-кейсов. И два года назад инициировали амбициозный и рискованный эксперимент со smart data lake, потому что у нас и наших бизнес-заказчиков было четкое понимание стратегических преимуществ инструментов Data Governance. Ради этих преимуществ мы потратили и продолжаем тратить большие средства на отладку совместной работы всех компонентов и методологию управления данными в smart data lake, так что наш проект окупится в более долгосрочной перспективе.

Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий. Внутри компании мы организовываем дни открытых дверей, внутренние конференции с демонстрацией решений, и мы открыты к диалогу.

После двух-трех лет практической эксплуатации озер и аналитических хранилищ данных в блоках можно ожидать появления первых общекорпоративных стандартов, а затем стандартизации на уровне компонент и методологии. В корпоративном центре «Газпром нефти» чуть более года назад появился орган, задача которого — формировать общую стратегию и общие «правила игры» в части Data Governance на уровне всей компании.

- Как будет дальше развиваться платформа данных?

На сегодня у нас все еще остается много нерешенных вопросов. Следующий год будет годом становления внутренней эффективности при разработке аналитических решений со встроенными инструментами управления данными. Один из существенных этапов такого становления — интеграция с имеющейся у нас инфраструктурой DataOps: Kubernetes/Openshift, Jenkins, Gitlab, Jira, Confluence. В результате удастся автоматизировать рабочие процессы инжиниринга данных, тестирования, выпуска релизов и в дальнейшем внедрить SLA — подход «данные как сервис» с гарантированными сроками и параметрами по типовым задачам поставки данных.

Кроме того, важными этапами в развитии культуры работы с данными станут официальное закрепление ролей владельцев данных (data owner) и распорядителей данных (data steward) в бизнес-подразделениях, а также настройка рабочих процессов управления изменениями объектов данных через единый каталог и бизнес-глоссарий.

В марте 2019 года в компании «Утконос Онлайн» произошло знаковое событие — был создан централизованный офис данных, во главе которого встал CDO (Chief Data Officer). Новое подразделение не только объединило усилия действующего аналитического отдела и экспертов бизнес-функций, но и усилило их, добавив отделы хранения и обработки данных и data science. О том, как данные помогают бизнесу развиваться, о первых реализованных проектах и зависимости числа заказов от температуры и осадков рассказывает Данила Наумов, директор по данным компании «Утконос Онлайн» и претендент на премию CDO Award 2020.

- Расскажите об истории появления в «Утконосе» офиса данных. Почему это произошло и какие задачи были перед ним поставлены?

Компания прошла долгий путь и получала на протяжении многих лет бесценный опыт, который постепенно повышал ее зрелость.

До определенного момента в Утконосе только зарождалась культура обработки данных, не существовало единой платформы и системных процессов. Летом 2018 года мы начали формировать аналитический центр, который занимался обработкой имеющейся в разрозненных системах информации. Например, BI-платформа QlikView была приобретена ранее для нужд финансового департамента и использовалась для выгрузки данных из систем. Бизнес-пользователи знали об этом довольно удобном инструменте и все больше ориентировались на него при реализации своих потребностей. Закончилось это тем, что модуль BI-отчетности стал использоваться как хранилище данных, хотя для этого не предназначен. Данные из него было невозможно использовать где-то еще.

Параллельно появлялось все больше новых задач, для решения которых требовались самые различные данные. Началось все с построения системы автозаказа и прогнозирования спроса, вместе с этим развивались направления ценообразования и целевого маркетинга. Было необходимо определить необходимый набор данных и инструментарий для их обработки.

Кроме того, зачастую в бизнес-командах компании могли присутствовать отдельные люди, которые занимались аналитикой только для конкретного подразделения. И как следствие, аналитическая работа велась разрозненно. Зачастую, каждый менеджер пользовался только собственными отчетами, на которые уходило достаточно много ресурсов. Поэтому было принято решение о создании единого аналитического центра, чтобы объединить аналитиков из всех бизнес-подразделений компании, избежать дублирования отчетов, договориться об определениях, метриках, источниках данных и отслеживаемых показателях. В дальнейшем стало ясно, что существовавшей BI недостаточно: необходимо создание платформы данных, способной стать основой для продвинутой математики. Это вылилось в создание в рамках ИТ-департамента офиса данных, который на текущий момент состоит из трех отделов: аналитического центра, отдела хранения и обработки данных и отдела data science. Сейчас в моей команде работают 24 человека.

- Почему подразделение находится внутри ИТ?

Мы решаем задачи для многих бизнес-подразделений, и, если бы вошли в состав какого-либо из них, наблюдалось бы определенное нарушение баланса и конфликты интересов. Создание офиса данных требовало серьезных инвестиций: закупки лицензий, создания инфраструктуры, привлечения консалтинга. Все это находится в ведении ИТ, поэтому структурно офис данных гармонично вошел в состав ИТ-департамента. Параллельно шла трансформация службы ИТ, и создание data-офиса уложилось в ее стратегию.

Для более быстрого внедрения продвинутой аналитики и ее встраивания в бизнес-процессы было принято решение о курировании всего направления непосредственно первым лицом компании — генеральным директором.

- Почему создание централизованного подразделения было важно для компании?

Накапливается все больше данных. Мы, как крупнейший онлайн-магазин продуктов, обладаем большим количеством данных о клиентах, и необходимо их использовать максимально эффективно — и для персонализации подходов, и для оптимизации внутренних процессов. Есть множество рутинных задач, реализуемых бизнес-подразделениями, и при этом бизнес даже не представляет, что можно жить по-другому, что какие-то действия могут выполняться автоматически. Мы берем рутину на себя и предоставляем бизнесу возможности для «творчества»: генерировать бизнес-гипотезы, проверять их и пытаться улучшить показатели компании.

Появление централизованного подразделения по работе с данными в такой относительно небольшой компании, как Утконос, важно для централизации экспертизы, устранения дублирования функций и выстраивания сообщества, которое будет являться сервисным подразделением для других направлений.

- Вы пришли в компанию в начале нынешнего года. Чего удалось добиться за это время?

Согласования ключевых инвестиций — в СУБД, обновление BI-инструмента, приобретение инструмента интеграции данных и консалтинг по различным направлениям.

Произошла ротация кадров внутри аналитического центра, и в команде появилось семь новых должностей. В первую очередь потребовалось усилить направление инженеров данных и исследователей данных — эти функции практически отсутствовали. Часть сотрудников пришли из других отделов — например, те, кто хотел сфокусироваться на обработке данных, а не на операционных задачах. Надо отметить, что многие из них уже сделали огромный шаг в профессиональном развитии.

Поставили на поток работу с бизнес-гипотезами — за полгода мы проверили более 500 гипотез, пришедших из бизнеса. Сформировано более 50 интерактивных дэшбордов, каждый из которых ориентирован на определенную задачу — работа склада, выручка в режиме реального времени и т. п.

Очень приятно видеть активность пользователей в работе с нашими сервисами. Они действительно востребованы. Один из главных пользователей — генеральный директор. В среднем 16 раз в день он заходит в дэшборд, отображающий динамику заказов и их изменение в реальном времени. Статистика посещений показывает, что и у менеджеров утро начинается не с чашки кофе, а с анализа отчетов по своим бизнес-задачам. Проходя мимо переговорных, регулярно вижу на совещаниях нашу аналитику. Это серьезное изменение в бизнес-культуре, огромный шаг к реализации подхода data-driven в управлении компанией — переход от исключительно экспертных решений к действиям, основанным на объективных данных.

Сейчас мы планируем сделать такие отчеты доступными не только для заинтересованных специалистов, но и для всех сотрудников офиса. Например, разместить на стенах офиса мониторы и отображать на них ключевые показатели работы компании.

- С какими проблемами столкнулись?

Во время первого знакомства с бизнес-подразделениями компании стало понятно, что нужно будет решить огромное количество задач, предложить инструменты, отвечающие потребностям коллег. Для каждого подразделения был согласован план работ и выделены ресурсы. Еженедельно мы встречались и демонстрировали результаты. Поначалу с теми инструментами, которые имелись в наличии, — это было нелегко. Но с появлением новых инструментов наш показатель time to market существенно улучшился.

- Какие данные используются для решения аналитических задач?

Основным источником данных о клиентах является история его покупок. Это ERP, CRM, веб-сайт и мобильное приложение, системы управления складом и логистикой. Кроме того, мы собираем данные об активности пользователей на сайте и в приложении: переходы между этапами, скорость пролистывания страниц. Это дает много информации о потребностях клиентов и способах повышения удобства наших приложений.

Недавно мы проводили пилотный проект по использованию данных соцсетей. Один известный интегратор утверждал, что сможет обогатить клиентские данные информацией из Facebook. К сожалению, результат оказался нулевым, и это направление работ пока заморожено. Мы будем повышать эффективность использования собственных данных.

Сейчас все данные аккумулируются в хранилище. Мы задумывались о создании озера данных, но поняли, что при наших объемах и темпах накопления данных озеро не нужно, тем более, что его администрирование требует ресурсов. Наша база данных Oracle в обозримом будущем будет способна «переваривать» наши данные. Чтобы создание озера данных стало актуальным, должны появиться новые источники данных, причем объемы должны на порядки превышать нынешние.

- Какими техническими средствами поддерживается накопление данных и работа с ними?

В качестве базы данных для хранилища выбирали между несколькими вариантами. Очень быстро выяснилось, что на наших объемах колоночные СУБД (Teradata и Vertica) не нужны; кроме того, они достаточно дороги, а, например, возможности Greenplum также избыточны.

Из реляционных СУБД выбрали Oracle. PostgreSQL оказалась не такой уж и бесплатной: для стабильной ее работы все равно пришлось бы покупать коммерческую сборку. А в трудоемкости работы администратора PostgreSQL заметно проигрывает Oracle. Наши администраторы тратят на эту работу лишь 30% времени, а в остальное время выступают в роли инженеров данных.

У BI-платформы было три сценария развития: доработка существующей платформы QlikView, внедрение абсолютно новой современной платформы (например, Tableau или Power BI) или миграция на Qlik Sense. Был выбран третий вариант, так как эта система работает с теми же моделями данных, а при масштабировании она оказалась более экономичной.

В качестве инструмента интеграции данных и платформы продвинутой аналитики используются решения SAS. Их явным преимуществом является ориентация на бизнес-пользователей, незнакомых с программированием. Кроме того, по сравнению с инструментами open source они позволяет в полтора-два раза быстрее решать аналитические задачи и выводить их в эксплуатацию.

- Какие наиболее значимые или интересные проекты вы можете выделить?

В первую очередь следует отметить оптимизацию целевого маркетинга — кластеризацию клиентов, понимание их профилей и по поведенческим признакам, и по продуктовым корзинам.

Второе важное направление — анализ эластичности спроса по цене. Мы очистили продажи от влияния трендов и сезонности, а также периодов отсутствия товаров и рассчитали эластичность. Будем проводить A/B-тестирование по ее использованию в процессе ценообразования.

Третий проект — оптимизация кампаний по предотвращению оттока клиентов. Раньше у нас был единый промокод, который рассылался всем клиентам. Мы решили действовать более аккуратно. Теперь у нас есть более глубокие скидки, но с условием более высокого чека. Мы поняли, что для каких-то клиентов это работает, и сейчас уже провели пилотный проект, показавший хорошие результаты.

Еще одно важное направление, изначально находившееся в сфере наших интересов, — прогнозирование спроса. В промышленной эксплуатации находятся модели примерно для половины нашего ассортимента. Ежедневно мы выдаем специалистам по товародвижению прогноз на две недели вперед с учетом как прошлых продаж, так и периодов отсутствия товара, изменения цен, наличия скидок и промоакций, а также в зависимости от температуры и количества осадков.

Кроме того, мы построили модель прогнозирования числа заказов, которая используется в операционном планировании ресурсов склада и курьеров-экспедиторов. В компании все прекрасно понимали, что осадки и температура влияют на наши продажи, но не было конкретных цифр. Мы выяснили, что каждый выпавший миллиметр осадков в этот день дает нам дополнительно 18 заказов, а отклонение температуры вниз на один градус от нормы — 7 заказов. Поэтому с уверенностью можно отметить, что в дождливые и прохладные дни покупателей больше, возрастает трафик и количество заказов.

- Каких результатов удалось достичь?

Например, по прогнозированию спроса на самых прибыльных позициях (мы измеряли эффект на 1% товаров, приносящих нам 7% выручки) ошибка прогнозов снизилась с 25% до 17%. Еще один пример: оценивая оптимизацию целевого маркетинга и работы с оттоком клиентов, мы поняли, что можем увеличить выручку примерно на 40 руб. с каждого покупателя.

- Что вы считаете своим главным достижением за время работы в компании?

Формирование и развитие команды, а также вывод в промышленную эксплуатацию задач по продвинутой аналитике. Как известно, можно относительно быстро и легко сделать прототип продукта, но есть огромная пропасть между ним и полноценным бизнес-решением.

И еще одно из ключевых достижений, на мой взгляд, — то, что с данными работают не только аналитики и инженеры данных, но и бизнес-пользователи. Они самостоятельно разрабатывают конвейеры по обработке данных, при этом никто из них до этого в использовании ИТ дальше Excel не заходил. Сейчас этот инструментарий изучает, например, коммерческий директор, чтобы также иметь возможность самостоятельной работы с данными.

- Как вы видите свою роль и роль своего подразделения в развитии бизнеса компании?

Важно выстроить свою работу таким образом, чтобы она была направлена на достижение основной миссии Утконоса — выполнение принципов: «всё на каждый день», «свежесть и качество», «выгода», «WOW-удобно» и «доверие». Этот подход компании к работе с клиентами вполне актуален и для CDO: предоставление бизнесу всего необходимого на каждый день, свежие и качественные данные, выгода от взаимодействия с нами через встраивание аналитики в бизнес-процессы, предоставление действительно удобных сервисов, работать с которыми нравится бизнесу. И конечно, формирование доверия к нашим сервисам.

- Обязательно ли пытаться встроиться в миссию компании?

Да. Как вариант, участвовать в ее формировании и изменении. Многие компании собирают данные, но не очень представляют, что с ними можно делать, каких результатов можно добиться. Директор по данным должен выполнить функцию консультанта-аудитора — понять, какие данные и где можно использовать, какие процессы следует изменить. При изменении процессов может поменяться и миссия компании.

- Какие возможности для своего профессионального развития вы видите?

Когда основные задачи «встанут на поток», необходимо будет больше заниматься процессами внутри офиса данных. Я бы хотел сфокусироваться на управленческих вопросах и перестать участвовать в решении операционных задач. Это будет означать, что участники команды обладают необходимой и технической, и бизнес-экспертизой. Мне останется фокусироваться на стратегии и мотивации.

- В каком направлении будет развиваться ваше подразделение в дальнейшем?

Будем увеличивать и количество, и глубину решаемых задач, охватывать все большее число направлений.

Бизнес-аналитикам очень интересно развиваться в сторону data science, «прокачивать» у себя математические навыки. Они могут развиваться и в сторону бизнеса, но пока я вижу больше возможностей и практической пользы в более сложных математических задачах. Для исследователей данных очень важно качество решаемых задач, чтобы результат их работы был востребован и реально полезен бизнесу. Реализуя такой подход, Утконос всегда будет привлекательным работодателем.

Консервативность, в которой часто упрекают российский бизнес, не является его уникальной особенностью — зарубежные компании также не горят желанием использовать инновационные технологии. Как отмечает Сергей Золотарёв, генеральный директор Arenadata и член экспертного совета CDO Award, на самом деле российские компании даже быстрее идут на внедрение инноваций по сравнению с западными коллегами. Мы побеседовали с ним о потребностях и проблемах, с которыми сталкивается бизнес на пути к цифровизации, и выяснили, в чем заключается роль CDO.

- Каков типичный портрет компании, кладущей данные в основу своих процессов и становящейся data-driven?

На мой взгляд, к подходу data-driven компании приходят двумя путями. На первый ступают те, кто об этом даже не задумывается, с самого старта выстраивая бизнес на данных. Это может быть какой-нибудь новый сервис или проект, в основе которого лежит работа с данными. Тогда подход data-driven заложен в ДНК таких компаний, и они не испытывают сложностей или проблем в связи с этим.

Второй путь открывается тогда, когда крупная, устоявшаяся компания начинает процесс цифровой трансформации, желая принимать решения, основанные на анализе данных, а не на человеческом факторе. Это гораздо более сложный, но очень интересный случай.

- Какие при этом появляются задачи, перед какими проблемами встают компании?

Всем кажется, что как только компания станет data-driven, она автоматически окажется более прибыльной и успешной. Но не все знают, с чего начать процесс цифровизации. Поэтому чаще всего первым шагом на этом пути становится поиск человека, который имеет за плечами успешно реализованный проект цифровой трансформации, — компания надеется, что он придет и поделится опытом. К сожалению, поскольку область data-driven новая, найти подходящего специалиста тяжело. Да и не каждый опыт, полученный на цифровых проектах, реально тиражировать, ведь он может оказаться нерелевантен.

Однако даже найти подходящего человека — мало. Если бизнес хочет стать data-driven, он должен понимать, что за него это никто не сделает. В процесс должно быть вовлечено первое лицо компании, необходимо создать рабочую группу в каждом ключевом подразделении. Я рекомендую составить некую матрицу, которая покажет, что принесет цифровизация того или иного бизнес-процесса, насколько сложно будет реализовать эту задачу. Тогда вы получите карту приоритизации. Она наглядно продемонстрирует, с чего именно нужно в вашем случае начать процесс цифровой трансформации.

Другой вариант — эволюционный, он актуален для компаний, регулярно выпускающих новые продукты и сервисы. Если сразу проектировать новинки на цифровых принципах, в какой-то момент вся линейка продуктов или сервисов компании станет цифровой. И ей уже не нужно ничего менять, так как «нецифровые» решения отомрут сами собой.

- Как изменяются потребности и запросы компаний в последнее время, какая наблюдается динамика?

Некоторое время назад цифровая трансформация была модным трендом: к ней стремились многие компании, не осознавая, зачем им это нужно. Но ситуация изменилась за последние два-три года — бизнес стал понимать, зачем нужно становиться цифровым. Это заметно даже в отношении консервативного, тяжелого сектора — металлургических и нефтедобывающих компаний. Раньше они жили с позицией, что варить сталь и добывать нефть можно даже без компьютеров, а теперь стоят во главе цифровизации. Те проекты, которые реализуют ведущие российские металлургические и нефтедобывающие компании, — пример для подражания не только в России, но и за рубежом. Тут и компьютерное зрение, и машинное обучение, и искусственный интеллект, и аналитика данных. Они нашли свой путь, как стать цифровыми, и приземлили его на набор практических кейсов.

- Что является драйвером такого интереса компаний?

Я бы в первую очередь назвал желание повысить эффективность работы компании, увеличить ее прибыльность, получить те точки роста, которых не достигнуть традиционными способами. А еще отличным драйвером цифровизации является конкурент, успешно внедривший инновационную технологию.

- Есть ли какая-то особенность подходов к цифровизации, типичная для российских компаний?

Уровень цифровизации некоторых российских компаний гораздо выше, чем западных. Причина кроется в том, что исторически западные компании, особенно те, что существуют продолжительное время, весьма консервативны в вопросе финансовых трат. Если процесс, на внедрение которого были потрачены деньги, окупает себя, его никогда не будут менять ради того, чтобы опробовать новую технологию. Наша «национальная особенность» заключается в том, что российские компании быстрее и охотнее идут на внедрение инноваций. Приятно и то, что этот подход поддерживается на уровне первых лиц государства. Например, уровень цифровизации Москвы на сегодняшний день настолько высок, что с ним не могут конкурировать европейские столицы.

- Каковы типичные ошибки в подходах к управлению данными? Чему компании уделяют много внимания, а чему — недостаточно?

Управление Big Data — достаточно новая область знания. У многих наших компаний накоплено недостаточно комплексной экспертизы в отношении того, как с этим жить. Поэтому, собираясь внедрять новую технологию, компании оценивают ее не всесторонне — видя лишь явные плюсы, которые она принесет, и игнорируя недостатки. Чтобы избежать этой ошибки, важно иметь набор вопросов и задавать их, анализируя необходимость внедрения инновации.

С одной стороны, данные часто несут новый срез знаний о процессе или клиенте, которого раньше не было. С другой, этот актив тяжело эффективно использовать, если не понимать, откуда данные взялись, насколько они чистые, какая информация в них содержится, можно ли ей доверять. Для того чтобы эффективно использовать данные, мало их собрать — нужно их классифицировать, нормализовать и очистить. Это упражнение сейчас называют Data Governance, и оно обязательно к исполнению.

- Как вы оцениваете важность роли директора по данным (CDO)? Как эта роль соотносится с владельцами данных?

На мой взгляд, основная роль CDO как раз в том, чтобы объединить бизнес и технологии. И важность этой задачи будет расти, потому что все компании хотят стать цифровыми, а цифровая компания — это та, которая строит бизнес на основе данных. Поэтому задача CDO — обеспечить все бизнес-инициативы компании правильным набором данных и найти наиболее подходящие инструменты для их реализации.

CDO очень важно выстроить партнерские отношения с владельцами данных, поскольку необходимо точно знать первоисточники, из которых поступают данные, быть уверенным в их достоверности и эффективно взаимодействовать с ними.

- Куда будут двигаться компании, как будут меняться их запросы в обозримом будущем?

Компании будут все больше стремиться работать с данными, поскольку будет расти число источников информации, которые можно успешно использовать для развития бизнеса. Многие из них продолжат стремиться в облако, потому что облачные технологии становятся все доступнее, а количество возражений против их использования уменьшается.

Все больше компаний позиционируют себя как data-driven, пытаясь сделать свои процессы более интеллектуальными, подвести под каждое решение объективный фундамент. Не случаен и рост популярности такой позиции в штате, как директор по данным. Мы побеседовали о подходах компаний к организации работы с данными, их успехах и проблемах с Александром Тарасовым, управляющим партнером DIS Group и членом экспертного совета CDO Award.

- Компании все больше заинтересованы в реальной работе с данными, пытаются извлечь из них пользу. Что изменяется в их подходах? Как вы оцениваете их успехи?

Российские компании осознали необходимость системной работы с данными — это бесспорно. Другое дело, что в зависимости от отрасли уровень зрелости компаний весьма разнится. Исходя из личных контактов, могу сказать, что директора по данным (Chief Data Officer, CDO) уже появились не только в финансах и ретейле, но и в медицине. Есть очень много интересных инициатив в промышленности, связанных с большими данными и созданием института data science.

В качестве позитивного изменения можно отметить, что уже не приходится слышать: мы назначили CDO, что ему делать? С таким приходилось сталкиваться два-три года назад. Зачем компании нужно управлять данными, объяснять уже тоже не надо. Более того, сложился рынок CDO, появились первые их переходы из одной компании в другую.

Другое дело, что некоторые компании находятся на этапе зарождения этой функции, пытаются ее определить, нащупать ее место в компании. Другие относятся к этому уже весьма осознанно, и стратегия управления данными не является для них пустым звуком, а у многих это становится нормой.

Стоит отметить главное: рынок приходит к пониманию того, что данные — ценнейший актив, как бы ни была заезжена эта фраза. Когда компания начинает относиться к данным как к активу, то есть собирается на них заработать, многое меняется и становится на свои места: компании прекрасно знают, как работать с активами, и хорошо это умеют. Например, актив не может быть без ответственного за него, он должен быть охвачен процессом классического цикла управления Деминга (PDCA) — планироваться и подчиняться целям компании.

- А каков внешний показатель того, что компания фактически стала относиться к данным как к полноценному активу?

Можно разделить компании на две большие группы: клиентоцентричные и продуктоцентричные. Продуктоцентричным — например, нефтяным или металлургическим компаниям — важно создание цифровых двойников их производственных активов. Их интересуют проекты по оптимизации процессов эксплуатации, повышению надежности, охране здоровья и окружающей среды. Маркером этого являются работы, связанные с созданием озер данных.

У клиентоцентричных компаний — банков, телекома, ретейла и т. п. — фокус направлен на клиента: его действия, социальное окружение, интересы. Здесь маркером является персонализация предложений для клиентов, а в качестве показательных можно выделить проекты с применением технологии Customer 360. В эту историю пока готовы идти далеко не все, и в будущем можно ожидать роста именно в этом направлении.

- Видите ли вы какие-то «национальные особенности» в развитии подходов к управлению данными у нас?

Похоже, особенностей нет. Надо признать факт: наша страна уже давно является одним из мировых лидеров — как в области технологий, так и в целом по уровню цифровой зрелости. Это подтверждают и в McKinsey, поместив Россию в пятерку лидеров в области цифровизации. Например, недавно у нас завершился перевод телевидения на «цифру». Ни в одной стране мира такого еще нет, а с учетом наших гигантских масштабов можно только предполагать, какая за этим стоит инфраструктура. И общаясь с нашими компаниями, я не вижу разницы в их готовности к цифровизации по сравнению с западными.

- Но ведь выход новых технологий на российский рынок традиционно запаздывает на пару лет…

Интересный момент: советский запас в подготовке кадров и обучении специалистов огромен. Наши программисты побеждают в олимпиадах и крайне высоко котируются в мире. И наш технологический рост опирается на фундаментальную базу. Это дает нам возможность проходить западный путь в разы быстрее, и время отставания постоянно сокращается. То, насколько быстро российские компании проходят историю, связанную с Data Governance, поражает.

Клиенты часто просят нас организовать референс-визиты в Европу. Зная уровень компаний и их запросов, интересные варианты найти очень тяжело, и с каждым разом все сложнее. В управлении данными дистанция нашего отставания сильно сократилась: мы идем практически вровень.

У нас традиционно принято принижать себя и с уважением смотреть на Запад. Но CDO наших ведущих компаний скоро можно будет посылать за рубеж с лекциями, особенно о выстраивании процесса управления изменениями данных в крупной компании. На мой взгляд, наши компании более динамичны. Ключевое отличие наших CDO от западных заключается в том, что они умеют действовать в условиях неопределенности (постоянного изменения целей и задач), попутно с успехом продавая свои проекты бизнесу и зачастую договариваясь с теми, с кем договориться практически невозможно. Они сдвигают с места нерешаемые задачи.

- Может быть, вы работаете с лидерами, а «в среднем по больнице» ситуация гораздо хуже?

Внедрение новой парадигмы никогда не начинается массово, всегда есть лидеры. Кто-то изначально имеет большую зрелость, а кого-то просто заставляет меняться жизнь. У нас лидерами стали финансы и телеком — это изначально data-центричные отрасли, там невозможно обойтись без культуры работы с данными. Сейчас эти подходы быстро охватывают средний сегмент, и специалисты из таких компаний задают вполне зрелые вопросы.

- Должность директора по данным до сих пор не стала массовой. Она нужна не всем или не все созрели?

Сейчас вопрос о том, нужно ли управлять данными, больше не стоит: мы уже находимся в цифровом мире. И сейчас многие проекты реализуются не ради автоматизации процессов, а с целью получения и сбора данных.

Поэтому говорить о том, что директора по данным не нужны, нельзя. Другое дело, что такая позиция пока есть не у всех, и я это связываю с недостаточной зрелостью. Во многих компаниях люди, занимающиеся данными, находятся на более низких позициях, но они все равно есть.

Почему нужен именно «директор»? Потому что, если собираемся на данных зарабатывать, необходима должность директора в его управленческом смысле — с бюджетом, штатом и полномочиями.

- Что мешает эффективной работе с данными? Какие вы видите барьеры?

Один из барьеров — недостаточное законодательное регулирование области управления данными. Кстати, я абсолютно уверен в том, что в скором времени во всех без исключения компаниях будет введен институт compliance-директоров, занимающихся соответствием регуляторным требованиям и требованиям по работе с данными.

А если взглянуть внутрь компаний, то далеко не все собственники понимают, зачем нужно управление данными. Есть и технологии, и кадры, и опыт — вопрос лишь в их востребованности. К сожалению, иногда топ-менеджмент компаний с трудом перестраивает мышление и еще не до конца осознал масштаб изменений. Многие воспринимают большие данные как модное увлечение молодежи.

- Очень многие говорят о специфической культуре, без которой компания не станет data-driven. Насколько она важна и какие изменения подразумевает?

Обсуждая проблему культуры работы с данными, иногда маскируют отсутствие процесса управления качеством данных. Когда данным не верят, нет и стремления их использовать.

Я не склонен верить в специфическую культуру. Важно понимать, что человек просто так меняться не будет — так уж мы все устроены. Мы постоянно куда-то торопимся, и у нас не хватает времени на то, чтобы хотя бы решить собственные проблемы — тут не до изменений к лучшему. Я верю в лидерство и личный пример: большинство изменений должно идти от руководства компаний через выставление требований к подчиненным.

- Что можно посоветовать компаниям, пытающимся поставить данные в основу своего бизнеса?

Не бояться это делать. Сейчас крайне важна готовность к экспериментам и переменам, готовность выделять бюджеты на инновации. Именно это отличает западные компании: их подход к управлению инновациями является ключевым корпоративным процессом, они тратят бюджеты на инновации в поисках «золотой жилы». Это основа венчурного финансирования — тратить часть прибыли на эксперименты и быть готовым к неудачам.