Статьи

Созданная в компании «Почта России» единая платформа больших данных стала основой для интеграции множества информационных систем компании и технологическим фундаментом ее сотрудничества с партнерами по логистическому рынку. Экономический эффект от создания платформы огромен, и оценить его в полной мере еще только предстоит. О внедренной платформе и полученных благодаря ее появлению результатах рассказывает Анна Ахобадзе, руководитель департамента обработки, хранения и аналитики больших данных «Почты России» и номинант на премию CDO Award 2021 .

- Ваша компания — обладатель, вероятно, одного из самых крупных массивов данных в нашей стране. Как давно у вас появилась стратегия в области управления данными? Каковы ее основные положения и приоритеты?

Заниматься управлением данными в компании начали достаточно давно, но в течение последнего года мы стали очень активно развивать это направление. Основные положения ИТ-стратегии «Почты России» в области данных вполне понятны: нужно накапливать максимально возможное количество данных, описывать их, верифицировать, проверять их качество и добиваться того, чтобы оно было достаточно высоким на всех уровнях систем и процессов, которые порождают и обрабатывают эти данные. С точки зрения демократизации данных нужно позаботиться о том, чтобы предоставить всем заинтересованным пользователям удобные инструменты для работы с этими данными и для принятия на их основе правильных решений. Наконец, компания рассчитывает на внутреннюю монетизацию накопленных данных. О продаже данных вовне речь не идет.

- Как в компании организовано управление данными?

Ответственность за управление данными в компании лежит на мне. Другими словами, я выполняю роль директора по данным.

Технологическую основу управления данными обеспечивает единая платформа больших данных. Она состоит из нескольких модулей. Один из них обеспечивает сбор данных из различных источников, их предварительную обработку и хранение в кластере Hadoop. Другой модуль предоставляет пользователям набор инструментов для доступа к данным. Третий модуль помогает отслеживать и контролировать качество данных внутри платформы и в других ИТ-системах компании. Для расчетов и дистрибуции витрин данных у нас применяется MPP-платформа. Для потоковой обработки данных используются популярные инструменты Kafka, Spark, Сassandra.

Кроме того, есть модуль описания данных (каталог данных): он содержит информацию о том, какими именно данными компания располагает и какие методы расчетов следует применять для определения тех или иных показателей. Этот модуль создан, для того чтобы помочь сотрудникам правильно пользоваться имеющимися данными.

Еще один модуль помогает обеспечить монетизацию данных. По сути, это инфраструктура для Data Science, разработки и продуктивной эксплуатации аналитических приложений, в том числе с использованием машинного обучения и моделей ИИ — для их написания используется популярная платформа Jupyter. Планируем также дополнить этот модуль возможностями для сбора внешних данных.

Информация может передаваться в платформу как один раз в сутки, так и в режиме, близком к реальному времени. Это одна из ключевых систем в архитектуре нашего ИТ-ландшафта. Она обеспечивает не только сбор и накопление данных, но и их обработку и передачу в различные системы для последующей работы.

- Как давно идет работа над созданием и развитием платформы?

Платформа создается в рамках масштабного долгосрочного проекта, который продолжается около трех лет. В минувшем году ее развитие шло особенно активно: темпы совершенствования платформы выросли в два раза. Это объясняется и тем, что к началу прошлого года уже была в целом завершена работа над базовыми элементами платформы, и тем, что именно в этот период работа над платформой была признана одним из приоритетных направлений развития ИТ в компании.

За минувший год был значительно расширен состав пользовательских сервисов, сформирована база знаний по использованию инструментов. Количество пользователей платформы выросло более чем в два раза. Кроме того, были сформированы KPI качества данных по ключевым сущностям компании, выстроены процессы мониторинга этих KPI.

- Какие основные бизнес-задачи решаются с помощью платформы? В каких бизнес-процессах она применяется?

Платформа применяется в огромном количестве бизнес-процессов. На ее основе рассчитываются ключевые показатели и принимаются различные управленческие решения. Она служит основой для исследований различных гипотез относительно бизнес-потенциала новых продуктов и их ценообразования. Наконец, поступающие из платформы данные используются в ключевых системах компании, в том числе тех, что поддерживают работу производственных подразделений.

- Как удалось совместить в единой платформе самые разные функции и возможности для решения таких разнообразных по масштабам и специфике аналитических задач?

Собственно, наша платформа для того и создавалась, чтобы с ее помощью решать самые разные задачи. Ключевое преимущество использования платформы заключается в том, что единая для всей компании модель данных помогает привести их в порядок, позволяя удовлетворять требования самых разных бизнес-заказчиков. Более того, платформа обеспечивает не только единое хранение данных, но и единую их интерпретацию, помогая упорядочить их и сделать понятными для всей компании.

В настоящее время в системе хранится около 5,5 Пбайт данных, для их обработки и анализа используется более 200 серверов.

- Кто является непосредственными основными пользователями платформы? В каких подразделениях компании они работают?

Платформу используют сотрудники производственных подразделений и почтовых отделений (у «Почты России» 42 тыс. отделений), которые отслеживают посылки и письма. Кроме того, с ней работают аналитики — и те, кто изучает информацию по отдельным продуктам компании, и те, кто отвечает за подготовку данных для принятия решений руководителями различного уровня. Сейчас мы активно привлекаем к работе с платформой наших топ-менеджеров.

Разным пользователям мы предоставляем разные инструменты для доступа к данным: аналитики предпочитают работать с витринами данных, руководители хотят получать наглядные и содержательные дашборды, сотрудникам производственных центров и почтовых отделений мы предоставляем отчеты, соответствующие их специфике деятельности.

Прежде, до создания единой платформы, пользователям нередко приходилось сталкиваться с ошибками ручного ввода и противоречивыми данными, взятыми из разных источников. К тому же не было уверенности в их полноте. Единая платформа хранит и предоставляет исчерпывающие и достаточно качественные данные.

- Какие результаты достигнуты благодаря созданию и использованию единой аналитической платформы? Что в компании удалось улучшить с ее помощью?

Приведу в пример интеграцию систем «Почты России» и Cainiao, логистического оператора AliExpress. Как известно, AliExpress — один из ключевых партнеров «Почты России». Благодаря интеграции наших баз данных об отправлениях, мы повысили непротиворечивость и целостность информации, в результате чего количество проблемных посылок (не дошедших до адресата или пришедших с большим отставанием от стандартных сроков доставки) уменьшилось более чем в два раза. И поскольку потоки отправлений, следующих между Cainiao и «Почтой России», огромны (счет идет на сотни миллионов посылок в год), мы получили огромный экономический эффект.

Появление платформы обеспечило и масштабный косвенный экономический эффект. Наши аналитики смогли оперировать более точными и полными данными, в результате руководители получили возможность быстрее принимать управленческие решения, а коммерческие подразделения научились создавать и быстрее выводить на рынок улучшенные и более востребованные продукты.

Платформа обеспечила интеграцию множества информационных систем компании, сопровождающих почтовые отправления в разных регионах и производственных подразделениях. Это помогло оптимизировать наши внутренние логистические процессы и ускорить доставку отправлений. В масштабах компании эти улучшения дают огромную выгоду.

Вот еще один пример оптимизации: в ходе проекта создания сети почтаматов на основе данных из единой платформы мы успешно решили задачу оптимальной расстановки этого оборудования по почтовым отделениям. Так или иначе, выгоду от создания платформы получили практически все подразделения компании. Этот эффект нам еще предстоит оценить.

Важнейшим достижением стало то, что, благодаря улучшению работы с данными, компания стала гораздо более зрелым и компетентным в технологическом плане логистическим партнером. В настоящее время мы сотрудничаем с 10 крупнейшими eCom-игроками России.

- Как внедрение единой платформы повлияло на корпоративную культуру работы с данными?

Наши сотрудники осознали, что необходимо использовать всю совокупность данных. И такая возможность появилась у них благодаря единой платформе. Они стали больше доверять данным, которыми пользуются, и активнее применять их в своей работе.

Существенно изменилось и отношение коллег к качеству данных: они осознали, насколько важно контролировать качество данных там, где они порождаются, и стали с гораздо большей ответственностью заботиться о том, чтобы данные изначально были правильными.

- По каким направлениям планируется развивать платформу в ближайшем будущем?

В ближайшее время мы предполагаем сосредоточить усилия на основных направлениях Data Governance: дальнейшем повышении качества данных, развитии описания данных, а также монетизации данных и извлечении различных выгод от их использования, в том числе с помощью Data Science, машинного обучения и других популярных технологий.

Счастье людей зависит не только от их дохода — теперь это подтверждено математикой. Чтобы повышать качество жизни в том или ином регионе, приходится глубоко вникать в проблемы его жителей, и лучшей возможностью для этого является «жалобная книга», которую представляют собой нынешние социальные сети.

Вячеслав Гойко, директор Центра прикладного анализа больших данных Национального исследовательского Томского государственного университета и номинант на премию CDO Award 2021, рассказал о реализации проекта «Оценка качества жизни населения регионов Российской Федерации по данным социальных медиа». Выводы о благополучии людей, полученные с помощью анализа их поведения в соцсетях, способны стать важным дополнением к традиционным статистическим методам и помочь в выработке управленческих решений, направленных на улучшение жизни граждан.

- Попытка измерения благополучия населения — важная задача. В некоторых странах есть даже министры по счастью. Как родилась идея использовать поведение людей в соцсетях для определения их качества жизни?

Тема благополучия и качества жизни в последнее время стала весьма актуальной. В научных кругах появилась концепция следующей, цифровой эпохи Индустрии 4.0. Ее жители — наши дети, которые родились с гаджетом в руках и многое воспринимают несколько иначе. Например, они хорошо принимают шеринг-экономику и восприимчивы к экологическим вопросам. Поэтому новая концепция направлена в первую очередь на повышение качества жизни людей и изучение новых аспектов их благополучия.

С другой стороны, все существующие методики основаны на субъективных оценках — то есть базируются на различных опросах. Объективные оценки строятся в основном лишь на статистических данных, мы же предлагаем использовать в качестве источника информации открытые данные.

Тематика родилась не случайно: наш Центр прикладного анализа больших данных, созданный в 2016 году, до недавнего времени назывался Лабораторией наук о больших данных и проблемах общества. Этими проблемами общества мы и занимались, поэтому задача измерения качества жизни населения буквально витала в воздухе. Мы начали работать с соцсетями, увидели, какие возможности дает анализ открытых данных из них, и в 2018 году возникла идея попробовать измерить «цифровое качество жизни».

Оказалось, что соцсети по своей сути представляют большую жалобную книгу. Соотношение негативных и позитивных сообщений составляет 7:1, то есть 85% контента имеет негативную тональность! Люди любят жаловаться, причем развитие интернета дало возможность высказываться всем. И в таких сообщениях часто содержится описание насущных проблем с привязкой к местоположению граждан, их социально-демографическому статусу, образованию. В отличие от опросов, где число респондентов исчисляется тысячами, здесь охват достигает десятков миллионов людей — получается довольно большая выборка.

Конечно, есть и ограничения. В первую очередь пользователи соцсетей не совсем точно отражают демографический срез населения России — там очень мало людей пенсионного и предпенсионного возраста. Однако средний возраст пользователя сети «ВКонтакте» уже перевалил за 30 лет.

- Почему только отечественные соцсети? Нет ли ощущения, что из-за этого теряется что-то важное?

Наша страна уникальна тем, что у нас мировые ИТ-гиганты, такие как Google или Facebook, встречают активное сопротивление местных игроков, причем весьма успешное. Более того, сеть «ВКонтакте» предоставляет открытые API — интерфейсы для получения данных. С точки зрения исследователя, это отличная возможность. Facebook же в 2015 году свои данные закрыл.

- Какие данные используются и почему именно они?

В первую очередь мы работаем с такой сущностью, как сообщество людей. В последнее время у многих пользователей снизилась активность на собственной странице — люди перешли в мессенджеры. Но в сообществах, особенно региональных, они продолжают обсуждать свои проблемы. По подпискам человека можно с высокой долей вероятности определить его регион, а чуть больше четверти пользователей и сами указывают свое место проживания. Весь контент мы обезличиваем, но оцениваем суть написанного и соотносим высказывание с субъектом РФ.

В итоге у нас появляется относительно объективная картина проблем и позитивных событий, присутствующих в обществе каждого из регионов. Даже несбалансированность негатива и позитива играет нам на руку, потому что динамика проблем отображает изменение качества жизни. Например, в известной пирамиде Маслоу потребность в безопасности находится внизу, являясь базовой. Поэтому люди сначала жалуются на безопасность, а уже потом — на отсутствие кинотеатров и других мест культурного проведения досуга. Это тоже может показывать прогресс или регресс качества жизни.

В масштабах региона получается неплохой слепок. Например, в Томской области проживают около 1 млн человек, свыше 300 тыс. из них пользуются сетью «ВКонтакте». По этим данным вполне возможно оценивать и состояние людей, и его динамику.

- Когда был начат проект? Какие этапы включал и каких реальных результатов с тех пор удалось добиться?

В 2018 году стартовал пилотный проект. В его ходе мы научились в полуавтоматическом режиме искать региональные сообщества, выгрузили из них весь контент за год. Даже с учетом относительно небольшой выборки это были миллионы сообщений, вручную их анализировать невозможно.

Далее мы перешли к следующему этапу — формированию ручной обучающей выборки для создания алгоритма, сортирующего сообщения по категориям. В пилотном проекте были определены 19 категорий (ЖКХ, образование, медицина и т. п.) и 3 сферы: социальная, экономическая и политическая. Наш подход оказался правильным: разметив большое количество сообщений, мы добились того, что алгоритм начал классифицировать сообщения с высокой точностью. Более того, он достаточно точно определял тональность сообщения, и уже с помощью этого удавалось делать определенные выводы. В следующем, 2019 году в наших данных появилась динамика, а кроме того, мы расширили классификацию сообщений. Результаты ожидались интересные, и нам удалось получить грант на проведение этого исследования.

Уже в 2020 году к нашей работе проявили интерес органы местного управления — администрации Томской области, Якутии, Архангельской области. Нам удалось связаться с Центром перспективных управленческих решений (ЦПУР), который нас поддержал в плане улучшения методологии. Причина их внимания очевидна: проект может с высокой точностью показать проблемы, актуальные для определенных регионов. Это может стать дополнительным инструментом мониторинга изменений. Наконец, мы начали сотрудничать с ВЦИОМ на тему сопоставления наших онлайн-данных с их опросами.

Сейчас наша задача — доработать методологию и нивелировать перекос в сторону молодежи. Очевидно, что мы пока достаточно плохо видим проблемы старшего поколения. Кроме того, нас интересует еще один важный параметр — субъективное психологическое благополучие, которое является показателем психологического состояния человека, а не только его отношения к внешнему миру. Есть много примеров того, что человек счастлив даже при плохом состоянии окружающего мира, и наоборот.

- Какие математические методы использовались в ходе исследования?

Классические методы машинного обучения. В ходе проекта мы использовали мощности суперкомпьютера СКИФ Cyberia, которым обладает ТГУ. К сожалению, в таких объемах ни хранить, ни собирать данные на обычных компьютерах невозможно. Обучение нейросетей также будет происходить очень медленно.

- Очевидно, в этом проекте речь идет не только о математике, но и о других дисциплинах — психологии, социологии и т. п. Какие специалисты и откуда привлекались, в чем заключалась их роль?

Проект поддержан Университетским консорциумом исследователей больших данных, в который входят 30 вузов. Ядром команды выступают специалисты из ТГУ. Научным руководителем проекта стал Евгений Щекотин из НГУЭУ, занимающийся вопросами субъективного благополучия. Кроме того, активно помогали коллеги из САФУ и СВФУ. Также мы работаем с компаниями «Форексис», которая помогает с машинным обучением, и Megaputer Intelligence, у которой есть хороший инструмент текстовой аналитики PolyAnalyst.

Наш коллектив объединяет компьютерщиков, социологов, психологов, лингвистов, экономистов. В нашей работе очень важна роль психологов. Проведя полноценное традиционное тестирование нескольких тысяч человек и затем проанализировав их цифровой след в социальных сетях, можно получить неплохую модель, способную по цифровому следу определить психологические характеристики человека.

Например, отдельное и важное направление нашего исследования — измерение качества жизни людей в Арктике. Это крайне важный для России регион с геополитической точки зрения, существует специальная стратегия его развития. Но пока непонятно, как повысить там качество жизни: несмотря на высокие зарплаты, люди уезжают из-за сурового климата и слабой инфраструктуры… Я бывал зимой в Архангельске. Световой день длительностью четыре часа производит гнетущее впечатление даже на сибиряка, провоцируя депрессию.

- Иногда решение сложной задачи приходит из совершенно другой области. Может ли оказаться, что мониторинг настроений в соцсетях заменяет официальную статистику или превосходит ее?

У нас несколько разные задачи: у статистики — количественные измерения, у нас — субъективные. Хотя они и идут бок о бок, для нас главными единицами измерения являются настроение человека и социума региона в целом. Поэтому статистика скорее дополняет наши методы, а вот с точки зрения ЦПУР, появление еще одного показателя может обогатить имеющиеся государственные данные. Таким образом, задача решается с разных сторон, и мы фокусируемся на извлечении из количественных данных качественных результатов: какие проблемы существуют, откуда они появляются и для кого важны.

- Что в ходе этого проекта было самым сложным?

На этом проекте мы набили много шишек. Это не умерило наше энтузиазм, но научились мы многому. Мы и раньше работали с алгоритмами машинного обучения, и нам приходилось классифицировать данные. Но размечать в таком объеме неструктурированные тексты, и в первую очередь жалобы, оказалось крайне сложно с концептуальной и содержательной точек зрения. Как отличить тематику одного сообщения от другого, если они описывают одно и то же событие? Кроме того, требуется с большой точностью разметить сообщения по тональности.

Подготовив разметчиков (целый коллектив, который размечал специально подготовленную выборку сообщений), мы начали работу — и результат нас расстроил. В ходе кросс-валидации (когда несколько человек независимо друг от друга размечают одни и те же сообщения) выяснилось, что точность работы крайне низка. Люди одно и то же сообщение зачастую трактуют совершенно по-разному, на таких данных обучать алгоритм невозможно. Пришлось потратить гигантские усилия, чтобы довести качество ручной разметки до приемлемого уровня. Как известно, самое сложное в обучении искусственного интеллекта — чтобы перед этим хорошо отработал интеллект естественный.

- Были ли в ходе проекта открытия, удивившие вас?

Оказалось, что регионы-соседи могут кардинально отличаться по восприятию качества жизни. Казалось бы, между людьми всего 200 км, но у них совершенно различное восприятие окружающего мира. Наша страна оказалась огромной не только территориально: проблемы сильно разнятся, причем нет универсального пути их решения. Скажем, если повсеместно отремонтировать дороги, люди счастливыми не станут. Чтобы принимать решения, нужно точно, до мельчайших подробностей знать ситуацию на местах.

Кроме того, это был первый проект, в котором мы работали бок о бок с гуманитариями. Первые полгода мы учились разговаривать на одном языке. Я по базовому образованию инженер-физик, и долгое время жил только в техническом мире. Реализация этого проекта заставила меня задуматься о гуманитарных проблемах. Честно скажу, я всегда считал, что главным критерием качества жизни является доход, а значит, в более богатых регионах качество жизни должно быть выше. Оказалось, что это совсем не так: он имеет значение лишь до определенного момента. То есть если всех людей сделать богатыми, счастливыми они не станут — как и в случае с хорошими дорогами. Поняв это, я слегка переосмыслил свои планы на эту жизнь.

- Что показывает практика? Какие действия в соцсетях наиболее показательны для оценки качества жизни?

С точки зрения нашей методологии показательнее всего комментарии. Ведь человек не просто «лайкнул» сообщение, но и потратил время на написание текста. Кроме того, если тема «горячая» и комментариев много, человек тратит много времени и на чтение дискуссии. Возникает гипотеза, что проблема действительно зацепила человека. Помимо содержания поста, мы используем лайки и репосты, чтобы оценить важность информации.

Но наша модель пока не учитывает распространение информации, а с этой точки зрения главный инструмент — репост. Более серьезный учет этого фактора остается в планах на будущее.

- Иногда человек ведет себя в Сети иначе — не как в реальной жизни. Является ли это проблемой для используемых методов анализа? И если да, то как она решается?

Да, часто люди в Сети себя ведут несколько по-другому, и это проблема. Если главная роль соцсети — жалобная книга, то вторая по значимости — место, где можно похвастаться чем-либо, и поэтому искажения неизбежны. Но нашими главными объектами наблюдения являются не люди или их посты, а обсуждения — то есть действия в сообществе, и там влияние индивидуумов снижается.

Но зато мы в явном виде столкнулись с тем, что позитивные новости во многих сферах жизни социально не одобряются. Если у людей все хорошо и они об этом рассказывают, то их мгновенно причисляют к «кремлеботам» и это сильно влияет на дальнейшие обсуждения. Конечно, есть и настоящие бот-аккаунты, привносящие определенную активность, и их приходится фильтровать.

Сейчас мы проводим исследование, чтобы понять, как и насколько сильно психологические черты человека проявляются в онлайне. Для этого нам нужны результаты традиционных офлайн-исследований, чтобы сверить их со своими наблюдениями.

- Очевидно, сам по себе анализ мало что дает, помимо определения общей картины. Гораздо важнее выдаваемые рекомендации к действию для изменения ситуации. Делаются ли уже попытки провести практические мероприятия на основе выведенных индексов?

До конца 2021 года при поддержке ЦПУР мы продолжим улучшать методологию, и одним из результатов станет разработка определенных рекомендаций по изменению ситуации в том или ином регионе. Именно для этого нам необходимо состыковать свои результаты с офлайн-исследованиями.

Сила нашего метода заключается в том, что мы можем спуститься до конкретного населенного пункта (разумеется, если его жители активно пользуются социальными сетями) и делать аналитику только по нему. Например, известна проблема оттока населения из сельской местности. Однако в период пандемии только из Москвы за город выехало 1–1,5 млн человек. Это отличная возможность замотивировать часть из них остаться в деревне — надо правильно спланировать соответствующие мероприятия. Для этого можно использовать нашу методологию: понять, чем люди недовольны; найти наиболее перспективный регион; оценить цифровой портрет человека, готового переехать жить за город, и определить число таких людей.

Мы сотрудничаем с администрациями Томской области и Якутии, пытаемся составлять для них первые практические рекомендации. Но следует быть очень осторожными: при использовании искусственного интеллекта неизбежно возникают этические вопросы. Все-таки качество жизни целого региона — весьма большая ответственность, поэтому мы стараемся делать эксперименты в малых масштабах, чтобы не навредить.

Кстати, у нас есть внутренний этический комитет. Мы исследователи, поэтому придерживаемся определенных правил. Во-первых, не используем персональную информацию, а ограничиваемся обезличенными данными. Во-вторых, стараемся перепроверять данные, прежде чем делать какие-либо выводы. Для уточнения выводов приглашаем представителей разных областей, в том числе органов власти, чтобы вместе выработать план действий. Наша цель — не распространять информацию о наличии проблем, а подготовить аналитику, которая поможет в принятии управленческих решений.

- Каким вы видите будущее этого проекта? Какое место он должен занять среди инициатив, направленных на социальную сферу?

Одним из главных результатов является проверка связи между онлайн- и офлайн-миром. С развитием технологий все больше людей будут проводить массу времени в Сети. Если мы научимся качественно анализировать онлайн-данные, которые порождаются цифровыми следами людей, то сможем персонифицировать разнообразные государственные блага. Мы будем понимать, где в условиях ограниченных ресурсов нужно строить детский сад, а где в первую очередь надо отремонтировать дорогу. Это даст возможность не только оценивать качество жизни, но и повышать его.

- Есть ли в этом риски?

Да, у нашего проекта есть несколько рисков, и главный из них — возможность мошенничества. Можно посадить специально обученных людей, которые будут генерировать контент, нужный заинтересованным лицам. Они будут сильно влиять на результаты анализа по какому-либо небольшому региону.

Скажем, у многих детей есть два аккаунта в соцсетях: один — «для родителей», а другой — для реальной жизни. Примерно то же самое может произойти и в нашем случае, и это опасно. Именно поэтому мы очень осторожно говорим об управленческих решениях на основе наших рекомендаций. И пытаемся перейти к качественным обезличенным показателям, чтобы свести к минимуму возможности фальсификации.

- Надо ли бояться своего цифрового следа?

Говоря о цифровой безопасности, многие впадают в истерику по поводу возможной слежки. Люди склонны к паранойе, всем нравится идея, что они для кого-то важны. Но мало кто задумывается, что все наши письма читает алгоритм антиспама. Многих этот факт приведет в бешенство, а лично я готов с этим мириться, лишь бы получать меньше спама. Можно принять некоторый уровень надзора ради большего комфорта.

Сейчас многие платформы дают возможность выбора — например, закрыть свой профиль. В первый месяц после появления такой возможности некоторые пользователи закрывали свою стену, но через некоторое время произошел откат: люди более трезво взглянули на потребность ограничения доступа к своей информации.

С точки зрения цифровой безопасности лучшее место — тайга, где нет связи. Но если мы живем в социуме, то следует развивать цифровую гигиену. Соцсети можно сравнить с краном, из которого течет грязная вода, и эту воду надо фильтровать, причем этим должны заниматься сами площадки. И надо сказать, что многие в этом преуспевают.

Один мой знакомый говорит: «Я всегда веду себя так, будто за мной наблюдают». Это один из наиболее разумных вариантов.

Офис управления данными появился в Ак Барс Банке в 2014 году, когда это еще не было мейнстримом. Его появление создало определенный задел в формировании компетенций по работе с данными. Сейчас офис переходит на новую ступень своего развития, внедряя гибкую платформу управления данными, выстраивая взаимодействие с бизнес-подразделениями и трансформируя восприятие бизнесом ценности данных. Вячеслав Яшкин, директор по информационной безопасности и управлению данными Ак Барс Банка и номинант на премию CDO Award, рассказывает об этапах реализации этого проекта и достигнутых результатах.

— У вас в должности сочетаются информационная безопасность и управление данными. Как вы пришли к этой позиции?

Изначально я был больше связан с ИТ-тематикой и уже позже перешел в сферу безопасности. Могу сказать, что ИБ не так уж и далека от управления данными, и в международной практике есть примеры, когда они хорошо сочетаются — например, в контексте управления событиями. Решения класса SIEM собирают логи событий из разных систем, которые можно считать «большими данными компании». Кроме того, в инфобезе сейчас используются похожие технологические стеки для управления данными, хотя для этого и не строится хранилище данных.

В любом случае один из важных аспектов заключается в том, что ИБ и управление данными не должны становиться ограничителями свободы или диктаторами, устанавливающими жесткие правила. Нужно не противостоять бизнесу, а играть на его стороне и учитывать его пожелания. Не только блокировать излишне смелые идеи, но и предлагать свои альтернативы. Все это приводит к необходимости понимать и ИТ, и бизнес и вести с ними диалог. Это подразумевает определенные лидерские качества, ну и, возможно, вдобавок требуется «быть хорошим человеком».

— ИБ подразумевает минимизацию рисков, а управление данными предполагает поиск новых возможностей для бизнеса. Как решается конфликт интересов?

Есть определенный кодекс этики, и существуют принципы принятия решений. Например, если мы говорим про ИБ, то я не могу единолично принять решение. У меня есть директор по ИБ, мы разделяем полномочия и принимаем решения коллегиально. Как правило, внутренние вопросы проходят через него, а я фокусируюсь на стратегии развития.

Фокус моего внимания в области управления и принятия решений сместился на работу офиса управления данными. Примерно 80% времени занимает именно он. Там нет выделенного директора, хотя такая позиция и предусматривается. Возможно, в будущем — с развитием офиса — он потребуется.

— Каково место офиса данных в иерархии компании?

Я подчиняюсь напрямую председателю правления банка. Офис управления данными — выделенная, самостоятельная единица, она не подчиняется ни ИТ, ни одному из бизнес-блоков.

Основные «заказчики», на которых мы работаем, — бизнес-подразделения. Мы не можем существовать сами по себе, устанавливая для себя задачи. У нас есть цикл взаимодействия с подразделениями — финансовым департаментом, розничным и корпоративным бизнесом, департаментом рисков. Эти четыре подразделения генерируют основной объем работ для офиса управления данными.

— Откуда растут корни у проекта по развитию управления данными?

Проект стартовал в 2014 году, еще до моего прихода в банк. Именно тогда было приобретено промышленное хранилище данных, а также сформирован офис управления данными. Кстати, у офиса за это время успели поменяться пять руководителей, а основное хранилище — комплекс IBM Netezza — устарело.

Тогда же была сформирована стратегия развития управления данными и data science в целом — вероятно, это произошло под влиянием моды, но задало определенный вектор развития. Была поставлена цель построить направление по работе с большими данными и научиться извлекать из них ценность.

— Что подтолкнуло к изменениям?

Драйвером изменений стало то, что решение IBM Netezza было снято с поддержки производителем. Тратить средства на развитие системы, не имеющей будущего, было нецелесообразно.

Кроме того, развитие своего ЦОДа подтолкнуло нас к тому, чтобы больше внимания обращать на программные решения и уйти от монолита, которым мы сейчас владеем. Уже реализован проект ABCloud — собственное облако с архитектурой application-control interface, полностью программно управляемое и ориентированное на микросервисную архитектуру.

Хочется прийти к технологиям самообслуживания, чтобы наши заказчики могли получать ценность из данных самостоятельно. Изначально это было компетенцией офиса управления данными и требовало длительного создания витрин. Это то, от чего мы хотим уйти.

— Это со стороны ИТ. А в чем заключалась бизнес-боль?

Длительное построение витрин серьезно влияет на бизнес. В том числе из-за этого многие подразделения не получали ожидаемой ценности от аналитики. Кроме того, в хранилище не был загружен весь объем данных, которым обладал банк, — все-таки у него более 300 систем различного назначения. Например, один из ключевых источников знаний для банка — транзакционные данные. Их накоплено очень много, и к ним довольно сложно подступиться. Это далеко не самый простой инструмент для извлечения ценности.

В целом бизнес нуждается в сокращении показателя time to market — времени вывода новых продуктов на рынок. Весь прошлый год мы выстраивали взаимодействие с бизнесом на ежеквартальной основе: нам ставили задачи, мы их приоритизировали и решали в соответствии с пропускной способностью офиса управления данными. До сих пор к таким упражнениям никто не приступал: деятельность офиса управления данными была довольно темной зоной. В этом году наши спринты сокращаются: мы ставим себе цель приносить пользу бизнесу уже на ежемесячной основе.

— В чем заключается стратегия управления данными, если ее выразить обычными человеческими словами?

Основная цель — создать простую и понятную экосистему для всех участников этого командного вида спорта с набором не очень сложных, но значимых правил игры. Очень важна синергия взаимодействия: нарушенные коммуникации влекут за собой сложности.

Надо показать всем, какую ценность они могут получить от нашей команды. Для этого дважды в год проводятся опросы удовлетворенности наших внутренних клиентов. Из ответов видно, что сначала коллеги даже не понимали, о чем идет речь. Например, многие думали, что к нам можно обратиться с проблемами в работе CRM. Это показывает, до какой степени люди не понимали, что такое управление данными и в чем оно заключается. Уже через полгода нам задали весь спектр вопросов, которые входили в наш фронт работ. Это серьезное достижение. Понимание пользователями того, чем мы занимаемся, — это очень важно.

С этой точки зрения очень хорошо себя показал крупный проект по кросс-продажам. Изначально бизнес-заказчики, в том числе на уровне топ-менеджмента, не видели особой ценности в офисе управления данными, но ситуация резко изменилась в момент запуска этого проекта. Стало очевидно, что без адекватного управления данными получить пользу от этого критически важного для банка проекта будет невозможно.

Мы пытаемся демократизировать доступ к информации, нужной для принятия решений, и делаем это для всех уровней — от операционного до стратегического.

— Какие этапы и работы включает в себя эта стратегия?

Первое — это качество данных, и мы продолжаем его развивать. Нам впервые удалось оценить качество данных в хранилище и по банку в целом. Впервые мы проделали это упражнение в начале прошлого года, внедрив инструмент Ataccama.

Далее идет управление данными, и это изменение — скорее культурное. Оно требует осознанности и понимания со стороны всех подразделений банка. Для построения эффективного процесса необходимо соблюдать внутренние нормативы и правила.

Третье направление — MDM и нормативно-справочная информация. В части мастер-данных мы уже запустили проект, и эта система будет реализована до конца года. Ее ценность будет заключаться в автоматизации процессов и дедупликации данных. Кроме того, с ее помощью получится снять статус мастер-системы с нашей CRM и присвоить его MDM — именно она должна иметь такой статус.

Что касается НСИ, то нашей задачей стало выстраивание жизненного цикла нормативно-справочной информации. Сейчас существуют разрозненные решения, которые практически не контролируются. И это становится причиной дополнительных работ по интеграции систем, а также вызывает расхождения в данных, что приводит к снижению их качества.

Четвертый пункт — создание обновленного корпоративного хранилища и BI. К середине нынешнего года мы должны полностью отключить старую платформу.

Пятое — безопасность данных. У нас есть проекты по обезличиванию данных, по ролевым моделям доступа, а также по тематике DevSecOps.

Шестое направление работ — создание архитектуры данных, этому я уделяю особое внимание. До сих пор ее не было. При наличии большого зоопарка систем важно ее моделировать, описывать источники. Здесь мы работаем совместно с архитекторами департамента ИТ, которые занимаются больше технологическим стеком, и наша группа архитектуры данных с ними активно взаимодействует.

Наконец, необходима интеграция созданных решений и процессов — формирование внутренней экосистемы управления данными. Здесь приходится вовлекать как технологические блоки, так и бизнес-команды. Главное, что сейчас ожидается от бизнеса, — определить владельцев систем и данных. Знаю, что договориться об этом с бизнесом — большая проблема, но это позволит нам ускориться и в целом обеспечить прозрачность.

— Сколько времени потребуется на реализацию столь масштабной программы?

Предыдущий пятилетний стратегический цикл у нас заканчивается в этом году, и сейчас мы формируем новую стратегию — с трехлетним циклом. Все описанные работы, и даже чуть больше, мы планируем завершить в течение этого цикла. Впрочем, это не означает, что программа не может быть пересмотрена. Более того, в отдельных направлениях изменения произойдут неизбежно.

— Какие выбраны ИТ-платформы и почему именно они? На базе чего планируется организовать управление данными?

В качестве единого хранилища выступает платформа Arenadata. В качестве систем Data Quality и MDM используется решение Ataccama. Холодное хранилище данных организовано на базе Hadoop S3. Решение для построения бизнес-глоссария пока ищем. Причина выбора всех этих решений — наше стремление к гибкости и желание упрощать и ускорять процессы.

Первым и самым сложным выбором прошлого года стала платформа хранилища данных. Мы потратили полгода на пилотные проекты — и не жалеем: это был осознанный выбор. Мы попробовали решения IBM, Micro Focus, а также Greenplum — как «чистый», так и Pivotal, и Arenadata. Была выполнена масштабная работа, а списки сравнения превышали 400 позиций. Проводились нагрузочные тестирования и тесты по миграции данных.

Оказалось, что у Arenadata не только адекватная стоимость владения, но и технологический стек, близкий к использовавшемуся у нас решению IBM Netezza. Это означало не столь сложную миграцию данных, как казалось вначале. Ну а вишенкой на торте стало импортозамещение, о котором в нынешних реалиях тоже приходится думать.

— Каковы особенности вашего подхода?

Я пришел из ИТ, поэтому, по сравнению с большинством CDO, смотрю на управление данными с несколько другого ракурса. Обычно на позицию CDO приходят люди либо из бизнеса, либо хорошо знающие теорию, но они, как правило, мало знают «матчасть». Кроме того, мой опыт в ИБ также дает взгляд со стороны. Поэтому я бы посоветовал коллегам посмотреть на решения в области Change Management и почерпнуть в них что-то ценное для себя.

Немаловажен и культурный момент. Я вижу, что часто изменению культуры уделяется мало внимания, практически отсутствует коммуникация между офисом данных и остальной компанией. Так как область работы с данными еще довольно «зеленая», коллеги не знают, как говорить о ней простым языком и доносить свои идеи до широкого круга пользователей. А ведь именно активная работа с пользователями помогает повышать их вовлеченность. На это стоит выделять ресурсы.

— Чем именно вам помогает наличие технического бэкграунда?

Легче найти общий язык с коллегами — например, участвующими в разработке. Для меня не было тайной, что такое язык SQL и как именно можно управлять данными. Да, я не имел дела с более сложными сущностями, но процессы обеспечения качества данных выглядели совсем несложно.

Кроме того, у меня уже есть опыт взаимодействия с высшим руководством, и поэтому рассказать о сути решаемых задач на языке бизнеса для меня не проблема. Собственно, это моя основная роль. Без наличия соответствующего технического бэкграунда было бы трудно описать в доступной форме работы, которые выполняет наше подразделение.

— Какие проблемы возникают при реализации этого проекта?

Обычно выделяют технические, социальные, процессные и ресурсные проблемы. Каждую из них можно решить — с помощью руководства, коллег, партнеров, тесной работы с вузами и т. п. Пока самая тяжелая — именно люди и процессы. Больше всего приходится акцентироваться на выстраивании правильного общения. Это дает хорошие плоды.

— Было ли желание что-то сделать совсем по-другому?

Оглядываясь назад, обычно думаешь: что-то можно было сделать быстрее и решительнее. Но я не вижу явных ошибок за полтора года своей деятельности.

— Каких показателей планируется достичь?

У каждого блока есть оцифрованные показатели. Их можно разделить на две составляющие: бизнес- и технологические. В части бизнес-показателей это полное соответствие создаваемых решений стратегическим планам. Благодаря этому мы не отклоняемся от единого вектора и не занимаемся тем, что не приносит пользу бизнесу.

Технологические показатели — это количество подключенных систем, объемы охваченных предметных областей, а также число пользователей платформы. Эти метрики прописаны, и мы за ними следим.

Вообще, я могу рекомендовать вводить на старте как можно больше метрик, а затем отсеивать ненужные.

— За счет внедрения Arenadata планируется сократить TCO на 51,9%. Откуда такие точные расчеты?

Они получены на основе оценки производительности решения по результатам тестирования на синтетических данных. На самом деле это очень консервативная оценка.

— На какие бизнес-проекты уже успели повлиять улучшения в области работы с данными?

Они повлияли на все реализуемые сейчас проекты — на все, что связано с маркетинговыми кампаниями, прогнозированием оттока, расчетом активных клиентов.

На автоматизацию в части улучшения качества данных тоже возлагаются большие надежды. Хочется убрать различные выгрузки, которые происходят между системами и могут портить качество данных. Это позволит исключить ручной труд по исправлению ошибок. И в целом качество данных — такое направление, которое может показывать эффективность работы подразделений: мы видим, где возникают ошибки, и работаем над устранением их причин.

— В каком направлении будет развиваться создаваемая платформа?

Важно, что компонентная архитектура будет не конечной, а расширяемой. Планы нужны, но они не должны быть догмой: в нынешних реалиях все меняется очень быстро, и надо уметь подстраиваться под эти изменения.

Отдельное внимание стоит уделить облачным вычислениям. Мы с коллегами пристально наблюдаем за этой областью, которая активно развивается на Западе. Возможно, подтянутся российские поставщики и реализуют сервисы похожего уровня. Появившаяся мировая практика использования облачных сервисов представляет для финансовых организаций большие возможности. Но важно не забывать, что мы обеспечиваем хранение персональных данных клиентов и должны исключить утечки такой информации.

Возможно дальнейшее развитие системы в сторону каппа-архитектуры, подразумевающей загрузку и обработку данных в реальном времени. Я уверен, что мы поможем извлекать все больше ценности из данных коллегам из data science, чтобы они быстрее и оперативнее получали качественную информацию.

Наконец, важны тренды внедрения машинного обучения не только в бизнес, но и в процессы управления данными. Автоматизация — существенный момент, который позволит использовать меньше человеческого труда в решении механических задач. Человек должен принимать решения, анализируя информацию, полученную роботами, а не наоборот.

Потенциал управления на основе данных еще далеко не раскрыт, однако мы продолжаем знакомить вас с весьма амбициозными попытками реализовать этот потенциал уже сегодня. В Великом Новгороде запустили цифровой сервис, который поможет сберечь и человеческие жизни, и бюджетные средства. В его основе — аналитическая система, предназначенная для ликвидации очагов аварийности на дорогах и предотвращения их возникновения. Номинант на премию CDO Award 2021 Андрей Майоров, министр цифрового развития Новгородской области, рассказывает о том, как приживается data-driven-подход в государственном управлении, что этому мешает и как удалось создать сервис для снижения ДТП.

- Как вы пришли в управление на основе данных?

Я проектировал средства организации дорожного движения, занимался транспортным моделированием, был одним из разработчиков транспортной модели Санкт-Петербурга — одной из первых ГИС в стране и до сих пор одной из самых точных. Приходилось выполнять сбор данных и их обработку. Тогда мы впервые познакомились с данными сотовых операторов для калибровки транспортной модели — еще до того, как это стало мейнстримом. Работали с GPS-треками для калибровки модели по скоростям, выстраивали матрицы корреспонденций, считали вероятности совершения поездки в зависимости от расстояния и пр. Весь математический аппарат транспортной модели — это, по сути, база управления на основе данных, то, что сейчас называют работой CDO. Когда я приехал в Новгород и прошел обучение на курсе подготовки CDO, то понял, что мне это знакомо. Я все это делал руками сначала как специалист, потом — как начальник управления, а теперь продолжаю этим заниматься уже как министр.

- Неужели ничего нового не узнали на курсе CDO?

Конечно, мир не стоит на месте. Появляются новые способы обработки данных, внедряется машинное обучение, стало больше так называемых государственных данных. Раньше был дефицит данных, а теперь, наоборот, избыток. Перед CDO встает проблема — понять, что это за данные и к чему их можно применить. Наиболее ценный человек сегодня — тот, кто ставит задачу аналитикам. Эпоха поиска и обработки данных уже позади, раньше это делали лучшие умы, а сейчас — студенты. Всего лишь за два-три года наступила эпоха исследований данных и поиска алгоритмов. Сохраняются общие принципы, но развиваются технологии, смещаются акценты и изменяется ценность конкретных специалистов. То, что раньше делали люди, сегодня выполняется без их участия.

- Какова роль управления данными и data-driven-подхода в вашей работе сегодня?

Мы сейчас активно прививаем культуру управления на основе данных. Конечно, по-прежнему существует в умах и старая парадигма принятия решений на основе собственного мнения, чутья. Иногда такие решения бывают очень точными, но это не современный подход. Решения, принятые на основе данных, всегда на порядок точнее, даже если математическая модель создана в Excel. Пока мы сделали первые два шага: переломили старую парадигму управления и начали создавать более удобный аппарат для принятия решений на основе данных.

- Неужели всего за полгода удалось сломать старую модель управления?

Конечно нет. Отдельные «очаги» управления на основе данных возникали и раньше — в головах людей, прошедших обучение профессии CDO. Но процесс шел медленно. Не могу сказать, что сейчас классическая парадигма управления полностью переломлена. Но когда data-driven-подход поощряется (а у нас он поощряется губернатором) и появляется все больше примеров его применения, то изменения происходят значительно быстрее. Чиновники не станут работать по-новому, если руководитель этого не требует. А когда губернатор спрашивает, на основе каких данных вы приняли такие решения, то все понимают установку: значит, надо работать с данными. И тогда начинается поиск: у кого есть нужные данные, как их обрабатывать, как деперсонализировать, как выстроить алгоритм, чтобы ответить на этот вопрос. И рано или поздно начинает меняться вся управленческая культура. Может быть, она не изменится на все 100%, но динамика, которую я вижу за последние полгода, очень хорошая, я ею доволен.

- Однако статистическими данными при желании можно подкрепить любую картину. Помимо запроса «сверху», нужна еще внутренняя потребность руководителей по-настоящему опираться на данные, отражающие реальную картину. Вы не согласны?

И да и нет. Статистические данные, честно говоря, реальными данными не считаю. К примеру, вся страна в рамках программы «Цифровая экономика» оценивалась по доле домохозяйств, подключенных к широкополосному интернету. У нас этот показатель был недостаточно хорош, я начал искать источники данных и выяснил, что эти сведения собирают с помощью социологического исследования — то есть устного опроса! И они попадают в статистику. Но это же глупо.

Вся информация о проводных подключениях есть у провайдеров, но тут встает вопрос о том, кому она принадлежит. В стране недостаточно открытых данных! У нас регион небогатый, мы не можем себе позволить регулярно приобретать данные сотовых операторов, хотя я понимаю, где их можно применять: в транспорте, туризме, спорте, в решении вопросов безопасности. Например, чтобы охватить видеонаблюдением места с максимальным количеством людей и понять, где именно нужны камеры для обеспечения безопасности, можно на точки концентрации людей наложить точки совершения преступлений.

Все начинают осознавать необходимость опираться на данные, но качественная информация стоит денег. Без концепции открытых данных мы далеко не уедем — будем возвращаться к статистике, получаемой социологическими опросами, и все наши навыки по добыче данных, их интерпретации, анализу и по управлению на основе данных в таком случае бессмысленны.

- Наверное, придется договариваться с операторами данных на взаимовыгодных условиях?

Мы пытаемся, иногда приходится что-то и оплачивать. Например, когда весной 2020 года в разгар паники люди массово поехали на дачи, стало ясно, что они принесут COVID-19 туда, где и врачей-то нет — только фельдшер. Нужно было определить по данным сотовых операторов, куда и в каком количестве едут люди. Телекоммуникационные компании понимали, что это социально значимая задача и пошли на уступки. Мы заключили контракт на отправку сообщений абонентам, которые не зарегистрированы в Новгородской области, но в ночное время находятся в радиусе действия одной из базовых станций на нашей территории. По концентрации таких абонентов нам дали статистику, и мы смогли хотя бы перераспределить врачей, потому что в некоторых районах население выросло в 10–12 раз.

- Как в министерстве определяется политика работы с данными?

Во-первых, у нас есть несколько гипотез относительно того, какие данные повысят вероятность принятия правильных решений. Во-вторых, мы знаем, кто эти данные теоретически может нам поставить. И в-третьих, мы пытаемся найти способ получить данные и выявить организации, которые на взаимовыгодных условиях нам их предоставят. Мы ищем партнеров на хакатонах, среди тех, кто подает заявки на конкурсы типа АСИ Data Masters, где мы ставим задачи.

- Какую задачу вы ставили перед собой в первую очередь, создавая систему анализа дорожно-транспортных происшествий?

Первоочередной задачей было снижение количества ДТП с пострадавшими и погибшими. В условиях ограниченных ресурсов мы должны расходовать деньги максимально эффективно. Проведя анализ, мы увидели, что, используя подход, основанный на анализе данных, тем же количеством денег можно закрыть большее число очагов аварийности, что в конечном итоге приведет к снижению и числа ДТП, и количества раненых и погибших.

- Как родилась идея этого проекта? Что вам удалось сделать?

Идея анализа ДТП частично перекликается с моим предыдущим опытом. Задача сделать предиктивную аналитику, чтобы понимать, где будут происходить ДТП в текущих условиях, была поставлена на конкурсе Агентства стратегических инициатив (АСИ) Data Masters, и мы присоединились к ее решению. Разработчик умел геокодировать, делать тепловые карты, но нам нужно было не представление данных, а аналитика. Мы взяли данные обо всех искусственных неровностях с адресами и датами установки, чтобы выяснить, насколько эффективен такой тип устранения очагов аварийности по сравнению, например, с установкой пешеходных ограждений. Нам нужно было оценить, сколько мы потратим денег и какой получим эффект в сокращении количества ДТП, числа раненых и погибших. Зная, сколько было потрачено до аварий и после них, можно посчитать, во сколько обошлось предупреждение одного ДТП и спасение одной жизни.

Это комплексная задача, решая которую, мы отработали получение данных от ГИБДД, так как обычно данные о ДТП без пострадавших не анализируют — в соответствии со всеми существующими методиками работа ведется только по ДТП с пострадавшими. Но зачастую эти ДТП — одного типа, даже скорость может быть одинаковой, поэтому, работая только по существующим нормативным документам, мы сильно ограничиваем себя в части анализа данных.

Методики работы с большими данными у нас не было. Подав заявку на конкурс, мы поняли, что, имея данные об интенсивности движения транспортных средств, сможем определять приведенное количество ДТП (на 1 тыс. автомобилей) и делать предиктивную аналитику — выявлять опасные места не только на основных улицах, где машин уже много, но и в местах, которые станут опасными в случае увеличения транспортных потоков.

Рабочая группа проекта оперативно «подавала патроны» разработчику: добывала данные и давала гипотезы для аналитики. Разработчику понравилось с нами работать, и он дополнительно сделал тепловую карту расстояний от зданий и сооружений до остановок общественного транспорта. Таким образом, мы увидели зоны, где до остановки необходимо идти пешком более 500 м, и теперь понятно, как их перемещать, чтобы охватить большую территорию.

Но главное — мы создали новый инструмент для работы с большим объемом данных. Это позволяет начать работу до того, как появился очаг аварийности, и проводить лишь те мероприятия, которые дают максимальный социально-экономический эффект. И все это мы можем делать благодаря тому, что у нас накоплены исторические данные относительно того, какое обустройство позволяет лучше всего предотвращать ДТП за меньшую приведенную стоимость.

- Какие источники данных вы использовали?

Данные обо всех ДТП, произошедших на всех улицах за необходимый для анализа период, мы взяли у ГИБДД. Только часть этой информации является публичной, поэтому первым делом мы договорились о получении полного объема данных, включая происшествия без пострадавших. Доля ДТП, которые оформляются через европротокол, настолько ничтожна, что ими можно пренебречь. Чтобы вытащить данные об установке «лежачих полицейских», о размещении камер фотовидеофиксации и других мерах, принятых для снижения аварийности, мы прошерстили планы их расположения и акты о выполнении работ, оцифровали контракты и перевели их в машиночитаемый вид. Данные об интенсивности дорожного движения взяли из сервиса «Яндекс.Пробки».

- Как решается вопрос качества данных?

Качество данных ГИБДД было низким, и потребовалась их постобработка, так как информация о ДТП привязывается к дому, а не к точному месту происшествия. А вот данные, которые мы извлекали вручную, сразу заносили в шаблоны разработчика в удобном для него виде. Ручной обработки было очень много.

- Какие ИТ-платформы применяются?

Для привязки ДТП к конкретной улице мы применили граф дорожной сети OpenStreetMap, «Яндекс.Пробки» предоставили нам выборку данных по скоростям за определенный период, а для обработки данных разработчик использовал сервис MapBox.

- Что стало самой большой проблемой при реализации этого проекта?

Самым сложным оказалось объяснить коллегам-транспортникам, что им нужен такой инструмент. Они борются с существующими очагами, работают по показателям, и работа на опережение в их нормативных актах не была предусмотрена — соответствующих показателей не было. Как всегда, происходит «борьба противоположностей» — мы предлагаем цифровые решения, а нам говорят: «Мы без этого 20 лет жили и дальше проживем, это ни на что не повлияет, новых «дырочек» для орденов сверлить не придется».

- Как же вам удалось их переубедить?

Упирали на то, что такой практикой можно гордиться и что можно показать себя с лучшей стороны на федеральном уровне, хотя на текущих показателях это и не отразится. Такая мотивация «зашла». Кроме того, было множество небольших информационных «вбросов»: что вся страна сейчас живет на основе данных, что этот подход диктуется премьер-министром, вы попадете в мейнстрим и т. п.

После того как мы «заразили» коллег из Минтранса, они уже убеждали ГИБДД.

- Какого эффекта от внедрения вы ждете?

В течение ближайших двух-трех лет за счет снижения аварийности мы получим экономию бюджетных средств, направляемых на устранение последствий ДТП.

- Каким вы видите дальнейшее развитие проекта?

Нам предстоит выпустить нормативный акт, обязывающий своевременно подгружать данные в систему и принимать решения на их основе. Возможно, станем проводить дополнительное обучение пользователей, когда будем заключать контракт на развитие системы. Когда системой начинают пользоваться, всегда возникают новые запросы. Развитие диктуется практикой: будет наработана практика — пойдет и развитие.

- Есть ли у вас сегодня в работе другие проекты, основанные на данных?

Да, есть несколько проектов: по прогнозированию уровня весеннего половодья, по выявлению точек концентрации туристов на особо охраняемых природных территориях. Это внешние системы, которые позволяют делать то, что раньше толком не получалось.

- Как вы планируете развивать управление данными в целом?

Планируем сделать портал открытых данных не для галочки, а для его активного использования — чтобы данные были востребованы, чтобы их было легко использовать, чтобы был общий файл с метаданными для понимания того, что есть у региона. Будем проводить хакатоны с использованием этих данных и подключать бизнес, чтобы на основании этих данных для людей создавались удобные сервисы. И конечно, продолжим формировать культуру управления на основе данных: доля решений, принятых на основе данных, должна приближаться к 100%.

Несмотря на усилия государства по стимулированию программ высшего образования в сфере ИТ, дефицит специалистов по данным не ослабевает. Исследователи данных, дата-инженеры и дата-аналитики требуются сегодня всем или почти всем. Компании, для которых перевод бизнеса в статус data-driven — не модный слоган, а жизненная необходимость, вынуждены взращивать таких специалистов собственными силами. Решая острый кадровый вопрос, они тем самым способствуют и росту зрелости российского профессионального сообщества в сфере работы с данными и аналитикой.

«МегаФон» — как раз из числа таких компаний. За последний год в ведущем телеком-операторе значительно расширена программа стажировок для студентов и выпускников вузов, созданы новые учебные программы для собственных сотрудников.

Леонид Черный, CDO «МегаФона» и номинант на премию CDO Award 2021, объясняет, почему такое обучение — обязательный элемент профессионального подхода к работе с данными и почему популяризации этого профессионализма пора выходить за рамки дата-сообщества.

— Программы стажировок для студентов, обучающие программы для сотрудников — какой общей идеей они объединены?

Эти программы содержат много общих идей. Это и повышение квалификации, и распространение знания, и общность подходов к решению задач. Если говорить о системном высшем образовании, то, конечно, оно предполагает получение огромного пласта теоретических знаний, однако каждая компания на рынке обладает своим, во многом уникальным подходом к рабочему процессу, к используемым инструментам и к организации данных в хранилищах. Не говоря уже о том, что в каждой компании решают свои, специфичные задачи, которые в принципе больше нигде не встречаются. И все эти задачи, инструментарии, данные существуют в рамках опять-таки уникальных бизнес-процессов.

— Обучение сотрудников в «МегаФоне» — это системная программа или отдельные курсы, отвечающие определенные болям компании с точки зрения нехватки компетенций?

Мы системно подходим к обучению сотрудников. Одна из наших задач как работодателя — сформировать для приходящих к нам специалистов определенную сферу компетенций, в развитие которой они должны вкладывать свои усилия. Ни один университет, работающий по утвержденным в прошлом методичкам, не сможет нам этого обеспечить. Мир меняется очень быстро, и бизнес прилагает фантастические усилия, для того чтобы успевать за изменениями, а еще лучше — возглавлять их. Один из механизмов образовательной работы — создание собственных обучающих центров внутри компании. У нас в «МегаФоне» есть МегаАкадемия, которая обеспечивает наилучшую доступность знаний для сотрудников на всей территории страны.

Число программ обучения только растет: сейчас в образовательном каталоге доступно более тысячи курсов, которые читают лучшие на рынке специалисты и наши собственные сотрудники. Любой человек, работающий в «МегаФоне», может зайти в этот каталог и выбрать необходимый ему курс. Любой руководитель, который испытывает необходимость в новых знаниях в своем подразделении, может выбрать курс для своей команды.

Кроме того, в образовательных программах мы сотрудничаем с Высшей школой менеджмента СпбГУ. Сейчас проходит обучение второго набора лаборатории «5G_Dream_lab», мы также планируем принимать активное участие в программе Master in Business Analytics and Big Data магистратуры ВШМ.

— Обучение в области данных и аналитики ориентировано только на профессионалов по данным? Или есть программы для сотрудников бизнес-подразделений, которым нужны определенные навыки в работе с данными?

У меня есть любимая история, которую я регулярно обсуждаю с коллегами и использую в выступлениях на конференциях. Когда я только пришел в компанию, я обошел всех руководителей, которые в принципе могли являться источниками или потребителями данных. Причем фокусировался на вторых. И приходил к ним с очень простым вопросом: что именно у вас «болит» и чем я могу помочь? Дальше оставалось только слушать и записывать, слушать и записывать. А потом разбирать записи, ранжировать и думать, что со всем этим «счастьем» делать. Одной из верхних строчек объединенного «списка наболевшего» была история про слишком долгое ожидание нетиповых отчетов и вообще всего нетипового. У нас в компании есть BI-системы, есть ненулевое количество обучающих программ, но с точки зрения бизнес-процесса некоторые элементы выглядели так: первое — заказать, второе — ждать. Это порочная система, и для того чтобы ее сломать, мы начали популяризацию идеи self-аналитики.

В «МегаФоне» создано одно из самых больших хранилищ структурированных данных, приближаемся к петабайту. Мы вкладываем в его развитие огромные усилия, знаем, как в этих хранилищах формируется каждый кусочек информации, что стоит за этими данными, какой у нас SLA на изменение, как мы проверяем качество. Пора было сделать следующий шаг — предложить коллегам обучение тому, как формировать для себя отчетность, используя доступный в компании инструментарий. По итогам 2020 года, механизмы self-service используют более 2 тыс. сотрудников, почти все — регулярно. И мы не собираемся останавливаться на достигнутом. Как я уже отметил, одна из ключевых ценностей обучения — это распространение знания.

— Существует ли в компании системный подход к формированию культуры работы с данными?

Формирование культуры работы с данными всегда системное, по-другому не получится. Если просто организовать «болото данных» и сказать сотрудникам: «Кладите свои данные сюда, отсюда же и берите, что вам надо», — вы получите серию негативных эффектов, в том числе с точки зрения влияния на операционную эффективность.

Для начала необходимо понять, какой результат мы хотим получить в итоге и зачем мы хотим получить именно такой. В свою очередь, процесс получения результата декомпозируется на шаги, которые необходимо выполнить. Затем определяем необходимые затраты на каждый из этих шагов и оцениваем их применимость в рамках существующих в компании бизнес-процессов, смотрим, что может стать так называемым quick win. Если что-то необходимо поменять в компании, в нашей дорожной карте — меняем. Если где-то надо показать эффект — показываем. Очень похоже на продуктовый подход, только не для создания продукта, а для создания культуры. Чтобы все заинтересованные стороны увидели, что это хорошо и правильно, и начали применять.

И конечно, необходимо рассказывать о том, что уже сделано, что происходит, чего удалось достигнуть на всех уровнях взаимодействия. Внутренний PR — очень важная составляющая как для формирования знания, так и для выстраивания культуры. Но часто ее недооценивают.

— Кто выступает преподавателями курсов, наставниками стажеров? Хватает ли вам таких кадров?

Это наши коллеги — экспертное сообщество, которое мы создаем внутри «МегаФона», которое любим, развиваем, холим и лелеем. Таких людей всегда не хватает, сколько бы их ни было. К работе с данными сейчас проявляют огромный интерес и образовательные учреждения, и организаторы разных мероприятий. И мы, насколько можем, стараемся этот интерес удовлетворить.

— Мотивированы ли сотрудники проходить обучение?

Мы живем в эпоху, когда цифровая гибкость, цифровые навыки являются значимым преимуществом. Остается все меньше профессий и сфер деятельности, доступных тем, кто не развивается не только в своей профессиональной области, но и в смежных, прежде всего цифровых областях. Сейчас уже моветон спрашивать у кандидатов, знают ли они Word или Excel. Но компании все чаще ищут претендентов со знаниями SQL и умением работать с BI-системами. И это нормально, потому что мы видим глобальный тренд на автоматизацию и алгоритмизацию процессов. И тот, кто хочет претендовать на более высокую позицию, более высокую зарплату, должен показывать лучшую производительность, а это невозможно без знаний и умений.

Люди это понимают очень хорошо. В современном мире темп жизни и бизнеса все время ускоряется. И для того чтобы оставаться на месте, надо бежать в два раза быстрее. Компании хотят от сотрудников больше. Получается двунаправленное движение к общим целям — по эффективности, скорости, достижению результата.

— Стажировки для студентов предлагают многие компании. В чем уникальность ваших? Почему, например, будущий data scientist должен выбрать стажировку в «МегаФоне», а не в «Яндексе»?

Это очень простой вопрос. Будущий data scientist никому ничего не должен. Наша компания прикладывает максимум усилий, чтобы заинтересовать кандидатов — масштабом задач, объемом работы, возможностью влиять на жизнь огромного количества людей, приносить пользу, развиваться, будучи на переднем крае технологий. При этом у нас довольно жесткий отбор. И те, кто его проходит, попадают в центр нашего внимания.

Наша уникальность в том, что задания, над которыми работают студенты и аспиранты, — это не набор задач, специально отобранных по принципу «наименьшего вреда», а реальные, боевые задачи, результат решения которых можно очень быстро увидеть в продуктиве.

За последний год-полтора на наши стажерские программы приходили студенты почти всех крупных технических высших учебных заведений. МФТИ, мехмат и факультет ВМиК МГУ, МГТУ им. Баумана, Высшая школа экономики, ИТМО, СПбГУ, УрФУ можно смело считать ключевыми кузницами кадров для работы в области больших данных. Также в последнее время к нам стали приходить выпускники «Сколково».

Сегодня студенты старших курсов видят в стажировках возможность получить практические знания и опыт и сами изыскивают способы попасть в компании, которые такую практику предлагают. Поэтому доступность информации о том, как устроена работа в компании, какие технологии используются, какие решаются задачи, становится ключевым фактором выбора места, где проходить стажировку и в дальнейшем работать.

— Как изменяются программы обучения, стажировок? Что является стимулом для их развития: появление новых задач в компании, новые технологии, потребность в новых компетенциях сотрудников?

Индустрия движется вперед очень быстро. Постоянно появляется новый инструментарий, развиваются новые подходы, меняется технологический стек. Образовательные инициативы должны быть впереди этого движения или по крайней мере идти вровень. Нельзя учить людей прошлому, на это тратятся усилия и время, а эффект не очень велик. Те учебные программы, которые разрабатываются моими коллегами, модифицируются в процессе обучения, и это нормально. Никто не хочет в 2020 году быть рудиментом прошлого с точки зрения знаний.

— И всё-таки — на что направлены эти инициативы в первую очередь: на решение кадровых задач компании или на развитие рынка специалистов по данным?

Если вам кто-нибудь скажет, что, занявшись системной организацией стажерских программ, компания не ставит перед собой задачу решать кадровую проблему, — не верьте этому человеку. За последние три года (да, наверное, правильно считать началом бума 2017–2018 годы) невероятно вырос спрос на специалистов по работе с данными. Прежде всего это связано с тем, что большое количество компаний из абсолютно разных индустрий стали реализовывать программы цифровизации и цифровой трансформации, что, в свою очередь, привело к дефициту специалистов.

Возникла специфическая ситуация: постоянно растущий спрос и стабильное количество специалистов на рынке. Причем я говорю не только и не столько про специалистов по машинному обучению. Прежде всего я имею в виду дата-инженеров, архитекторов, ETL-разработчиков, специалистов по BI. Произошла индустриализация профессии: то, что раньше расценивалось как признаки «гика», стало новой нормой. Раньше невозможно было представить, что конкурировать за кадры в отдельном сегменте информационных технологий будут не только ИТ-компании, но и компании из банковского сектора, телекома, нефтедобычи и ретейла. А сейчас всем этим отраслям, и не только им, приходится жить в состоянии острой конкуренции.

— Как трансформировались ваши учебные программы в 2020 году в условиях пандемии? Что из кризисного опыта вы возьмете на вооружение в «нормальной» жизни?

Поменялось немногое. Мы изначально делали ставку на онлайн. «МегаФон» — компания федерального уровня не только с точки зрения предоставления сервиса, но и с точки зрения географического распределения наших экспертов. Моя команда физически находится в разных регионах страны: Владивосток, Новосибирск, Екатеринбург, Краснодар, Ростов-на-Дону, Санкт-Петербург, Нижний Новгород. И это далеко не полный перечень городов присутствия. И конечно, в реальном мире мы использовали наше локальное присутствие для связи с региональными образовательными центрами. Но на уровне внутреннего обучения онлайн — наше все! И в тот момент, когда мир неожиданно для самого себя стал цифровым, а все образование и обучение — дистанционным, мы уже были готовы.

Из интересных открытий 2020-го могу отметить следующее: умение выступать вживую и умение выступать онлайн — это два принципиально отличающихся набора навыков. Я люблю и, как мне кажется, умею выступать перед живой аудиторией. В процессе рассказа ты видишь глаза людей, отмечаешь их реакцию на свои слова, можешь передвигаться по сцене, подстраивая механику передвижения и артикуляцию под материал, получаешь обратную связь из зала… Это сильно отличается от выступления перед экраном компьютера. И обратная история: в тот момент, когда формат вебинара превращается в привычную среду проведения обучения или чтения лекции, становится значительно сложнее выйти к людям на расстояние вытянутой руки и чувствовать себя при этом свободно.

Раньше мы вкладывали очень много усилий, чтобы научить наших экспертов выступать перед живой аудиторией, а в 2020 году поменяли вектор и стали учить их выступать перед камерой, перед экраном компьютера. Это было очень интересно, хотя все равно хочется видеть живых людей в зале.

— Про будущее. Планируются ли другие, принципиально новые инициативы в области популяризации профессиональной работы с данными?

По моему глубокому убеждению, популяризация работы с данными в профессиональном сообществе и в рамках образовательных программ — очень важное, но далеко не единственное направление деятельности. Критически важно выходить за пределы устоявшегося сообщества и рассказывать миру о том, что такое данные и что такое качество данных, как устроена работа с данными в компаниях-лидерах и какие возможности для общества и бизнеса в этом заложены, в чем польза data-driven-подхода по сравнению с традиционным. Надо планомерно заниматься евангелизмом профессиональной работы с данными.

Движение в сторону цифровой трансформации, которое сейчас происходит в бизнесе, по большому счету направлено на достижение нескольких побед. Во-первых, обеспечить автоматизацию и алгоритмизацию рутинных процедур; во-вторых, предоставить максимальное (но в пределах разумного) количество инструментов для принятия решений, базирующихся на данных; и в-третьих — создать новые возможности для бизнеса.

Работа с данными является необходимой предпосылкой для каждого из этих направлений. На мой взгляд, неоспоримым является утверждение о том, что качество принимаемых решений напрямую зависит от качества данных, которые предоставлены бизнесу. От интерпретации данных — тоже. Однако именно обеспечение качества — один из столпов всего процесса работы с данными. Если есть данные, процессы обеспечения их качества, инструменты для построения наборов аналитик на данных, то открываются возможности для создания новых продуктов, новых бизнес-моделей и новых, эффективных процессов работы.

Но для того, чтобы это стало нормой, необходимо рассказывать о том, что это достижимо, что в эту сторону надо смотреть, думать, двигаться. Нужно рассказывать об этом на митапах, бизнес-завтраках, клиентских встречах — везде, где только можно и куда зовут. Популяризация подходов работы с данными, инженерии, построенной на данных и взаимодействий на основе данных, — это то, чем необходимо заниматься.

В Ульяновской области создается цифровое решение для оценки качества жизни. Проект под рабочим названием «Индекс счастья» здесь начали развивать еще в 2017 году, составляя рейтинги муниципальных образований по качеству жизни. Изначально такая оценка занимала достаточно много времени, а для формирования рейтинга использовались в основном статистические показатели. Теперь пришло время автоматизировать процесс, усовершенствовать методику измерения и повысить точность оценки качества жизни населения в муниципальных образованиях, применив технологии искусственного интеллекта. Номинант премии CDO Award 2021 Олег Асмус, генеральный директор Центра стратегических исследований Ульяновской области и главный интерпретатор всех данных региона, рассказывает о проекте, который сегодня называется «Индекс качества жизни населения».

- Как родилась идея этого проекта?

Как оценить качество жизни? Каждый воспринимает его по-своему. Мы решили определить стандарты. К примеру, у министерства финансов есть стандарт относительно того, сколько бюджетных рублей должно приходиться на одного человека. В экологии существуют стандарты чистоты воздуха. Есть показатели здоровья населения, преступности и пр. Мы выбрали самые простые параметры, понятные любому обывателю, которые характеризуют качество жизни, и составили планы, как будем это качество повышать.

По поручению губернатора у нас в регионе формируется рейтинг муниципальных образований по 65 показателям качества жизни (из них 9 параметров — по результатам опроса населения), которые объединены в 11 групп. Эти показатели характеризуют все основные аспекты условий проживания в муниципальных образованиях: от объема доходов населения до обеспеченности различными видами услуг и объектами инфраструктуры. Рейтинговая оценка формируется по данным территориального органа Федеральной службы государственной статистики по Ульяновской области и данным исполнительных органов государственной власти.

- Зачем нужен такой рейтинг? Какую цель вы перед собой ставили?

Проблема улучшения качества жизни населения в регионе и отдельно взятых муниципальных образованиях и населенных пунктах — одна из важнейших стратегических задач. От ее решения зависят темпы экономического развития и его направленность, а также социальная, политическая и экономическая стабильность. Губернаторам, мэрам и главам муниципальных образований важно понимать, с какими проблемами, связанными с качеством жизни, сталкиваются люди. На одной территории это могут быть проблемы с преступностью и безопасностью проживания, на другой — с наличием промышленных предприятий, которые значительно влияют на экологию, а на третьей — с доступностью дошкольного образования.

Нашей целью было определение индекса качества жизни граждан в каждом муниципальном образовании для выявления тех сфер жизнедеятельности, которые требуют особого внимания со стороны органов власти всех уровней.

Рейтинг — инструмент, позволяющий министерствам принимать решения. Поставьте себя на место министра транспорта. У него в регионе 24 муниципальных образования, и ему нужно строить дорогу. С кем он будет работать? С тем руководителем, который близок ему по духу, который его не подведет. С тем районом, где готова проектно-сметная документация... Но, может, дорога там не нужна? Или не так нужна, как в другом месте, где глава «неудобный» и документы не готовы. Получается, мы строим там, где, может быть, пока еще не надо. И так во всем: и в сельском хозяйстве, и в предпринимательстве. Грант на парикмахерскую легче получить там, где рядом уже есть четыре парикмахерских, чем там, где нет ни одной, но никто не просит грант. Так проще работать министру предпринимательства.

Благодаря этому проекту мы сегодня можем оценить, где жить хорошо, где — похуже, и понять, на что следует обратить внимание. Рейтинг позволяет определить наиболее проблемные точки территорий муниципальных образований.

- Что было сделано для достижения поставленной цели?

В феврале 2020 года нам предложили участвовать в международном конкурсе цифровых решений World AI & Data Challenge Агентства стратегических инициатив (АСИ), который направлен на решение глобальных социально-экономических задач с помощью технологий обработки больших данных и искусственного интеллекта. Центр стратегических исследований Ульяновской области принимает участие в этом конкурсе с задачей «Измерение уровня качества жизни населения в муниципальных образованиях», которая по результатам третьего этапа попала в топ-12 задач, для которых разрабатывается цифровое решение. Это признание важности решения проблемы. Изначально было несколько регионов — участников этого проекта, но они не смогли собрать достаточно данных для его реализации.

Индекс качества жизни населения формируется из двух компонентов. Первый — индекс, рассчитываемый по фактическим данным, — формируется в результате анализа данных в разрезе муниципальных образований c применением модели машинного обучения. Второй — индекс мнений — составляется по результатам анализа комментариев в социальных сетях («ВКонтакте», «Одноклассники», Twitter, Instagram, Facebook) также с привязкой к муниципальным образованиям. Нам было важно заменить результаты социологических опросов на реальное мнение граждан.

Применение технологий больших данных и искусственного интеллекта повысит качество используемых данных и позволит выйти на новый уровень измерения уровня качества жизни населения. Кроме того, сейчас оценка проводится раз в год, а мы хотим сделать ее более оперативной.

- Какие из 65 показателей являются ключевыми для расчета индекса?

Сложно выделить какие-то ключевые показатели по фактическим данным. Думаю, сейчас в первую очередь будут учитываться реальные мнения граждан в социальных сетях. Мы делаем ставку именно на это.

- Какие источники данных использовались?

У нас определен перечень показателей, которые берутся из ведомственных данных, из открытых баз данных, таких как портал ГИБДД, Единая аналитическая система Министерства культуры РФ, Единый реестр субъектов малого и среднего предпринимательства, а также из социальных сетей и других открытых источников. Задействованы данные почти всех министерств и ведомств региона. Индекс — это не только статистика и социология, которые зачастую обманчивы, но и программы, позволяющие услышать «настроение» населения. Однако мы не отказались и от использования статистических данных, поскольку без таких показателей, как рождаемость и смертность, не обойтись. Около 30% всех данных остаются статистическими.

- В чем заключалась самая серьезная проблема? Что было самым сложным?

Провести оценку мнений граждан и дополнить статистические и опросные показатели результатами контент-анализа социальных сетей. Система способна мониторить все посты в социальных сетях и определять их тональность: позитивный, негативный или нейтральный комментарий. Но этого недостаточно, возникали проблемы с методологией расчета «индекса счастья».

Сложность этой задачи заключается не только в том, чтобы найти смысловые отражения базовых показателей в виде фраз, высказываний, жаргонизмов, но и в том, чтобы учесть социальные контексты их использования. Поэтому в работе с данными используются методы машинного обучения. Сейчас мы можем рассчитать индекс мнений отдельно по спорту, образованию, культуре и т. п., а затем сформировать интегральный показатель по всем этим блокам.

- Какие платформы для работы с данными применялись и почему именно они?

Мы ставили задачу специалистам оценить качество жизни по тому или иному направлению, и они ее решали. Результаты получали в рамках конкурса АСИ, поэтому применялись их цифровые мощности.

Индекс формируется на платформе Freyr monitoring, анализ социальных сетей реализован на фреймворке Django с использованием целого ряда открытых инструментов: Redis, Kaldi, Selenium, PyTorch, Transformers, Natasha и других.

- Как решается вопрос качества данных?

Мы надеемся, что этим вопросом будет заниматься создаваемый сейчас Центр управления региона (ЦУР). Его информационная система позволяет губернатору за считанные секунды увидеть ситуацию в самых разных сферах. Мы же выступим в роли интерпретатора данных, которые будут поступать в ЦУР.

- Индекс станет использоваться в дополнение к другим критериям для оценки муниципальных образований?

Это не принципиально, мы вправе стимулировать руководителей по любым показателям эффективности управления. Индекс — живой инструмент. Сейчас кризис, ни у кого из субъектов нет положительных показателей в экономике. Соответственно, прежние инструменты оценки не работают, мы не можем оперировать старыми лекалами. Прежние задачи видоизменились, но в любом случае этот инструмент позволяет оценить, кто где находится.

- Какие результаты достигнуты и ожидаются?

К настоящему времени подготовлено тестовое цифровое решение, анализирующее данные в соцсетях в разрезе всех муниципальных образований Ульяновской области. Причем решение способно отслеживать не только публикации в социальных сетях на самые различные темы (от доходов населения до экологической ситуации), но и получать интегральный показатель по всем комментариям.

Сейчас пока рано говорить о результатах, так как продукт еще дорабатывается. Планируется, что он заработает к маю 2021 года. Каких эффектов мы ждем? Повышения уровня благосостояния граждан, которое можно отследить как по настроению людей в социальных сетях, так и по фактическим данным. Сформированный индекс качества жизни по каждому муниципальному образованию позволит выявить сферы жизнедеятельности, требующие особого внимания со стороны органов власти всех уровней. Результаты оценки будут использоваться исполнительными органами государственной власти и органами местного самоуправления для принятия решений с целью улучшить ситуацию по курируемым направлениям.

- Поделитесь примерами принятия подобных решений на основе индекса.

Когда мы проанализировали средства, которые выделяются на обеспечение безопасности дорожного движения, то, к своему удивлению, выяснили, что в тех районах, куда выделяются наибольшие средства, смертность максимальна, и наоборот — там, где денег минимум, минимальна и смертность. Как раньше принимались решения о выделении средств? Перед кабинетом министров ставится задача: «Надо строить дорогу от одной деревни до другой. Столько-то людей ездят. Надо? Надо!» Альтернативного мнения не было. А теперь, благодаря индексу, оно появилось! В этом году интегральный индекс будет учитывать и фактические данные, и мнение населения, то есть его объективность будет выше.

- Какие из результатов стали неожиданными?

У нас есть абсолютный лидер среди муниципалитетов — Чердаклинский район. Это самое динамично развивающееся муниципальное образование, которое много лет подряд опережает всех по уровню зарплат, налоговых поступлений, числу построенных заводов и т. п. Но оказалось, что по качеству жизни этот район — один из худших и население не слишком-то довольно. Люди признают, что там невысокий уровень безработицы и хороший уровень зарплаты, но им не нравятся плохая экология и разбитые дороги, большая смертность от онкологии и высокая преступность. А вот Радищевский район, который мы всегда ругаем, вошел в число лучших, что очень удивило правительство. Оказалось, что люди там очень довольны своей жизнью, там леса, озера — красота, а еще низкие показатели смертности и преступности.

- В каком направлении будет развиваться проект?

Когда этот механизм у нас заработал, губернатор обратился к президенту с предложением распространить наш опыт на всю Россию. И президент его поддержал, дав соответствующее поручение. Но поскольку все регионы разные, надо придумать универсальный механизм. Сейчас мы с вами о нем и говорим.

Планируется, что решение будет использоваться в пяти регионах: Новгородская, Свердловская, Ульяновская области, Ханты-Мансийский автономный округ и Республика Татарстан (особая экономическая зона «Иннополис»).

Предполагается применять индекс в качестве KPI исполнительных органов государственной власти и органов местного самоуправления. Таким образом, результаты этого проекта должны стать инструментом бюджетного финансирования государственных проектов. Чтобы мы не финансировали районы, где ситуация хорошая, а давали деньги тем, где она плохая. Мы надеемся, что губернатору станет легче управлять регионом, получая эти данные, в том числе решать, какой отрасли и какому муниципальному образованию отдать приоритет.

Мы уже приняли решение, и губернатор Ульяновской области подписал постановление о стимулировании глав муниципальных образований за улучшение качества жизни. Как это работает? На основе рейтинга выявляются проблемные точки. Глава муниципального образования подает заявку на конкурс для получения финансирования. Но заявка оформляется только в том случае, если решается проблема, выявленная рейтингом. Так, если ситуация с дорогами у него хорошая, он не имеет права подавать заявки на дорожные проекты. То есть мы получим очень хороший инструмент быстрого решения имеющихся в муниципалитете проблем. На это уже выделено несколько миллионов рублей.

Иногда проблемы клиентов могут стать проблемами компании. Это выливается в дополнительные издержки, а в отдельных случаях ведет и к потере клиентов. В «Сибуре» считают, что лучший способ обеспечить лояльность бизнес-партнеров — совместная работа по минимизации числа возникающих инцидентов. С этой целью компания запустила бесплатные проекты по анализу производственных данных клиентов. Результатом становятся рекомендации по оптимизации производственных процессов, способные заметно повысить эффективность работы заказчиков. О том, как компания пришла к такой деятельности, о ее результатах и перспективах рассказывает Алексей Винниченко, руководитель центра аналитики компании «Сибур» и номинант на премию CDO Award 2021.

— Как родилась идея коллаборации с партнерами для улучшения качества продуктов? О том, что совместной работой с общими данными можно добиться большего, говорят многие, но до практики дело обычно не доходит.

В 2018 году в «Сибуре» стартовала масштабная программа цифровой трансформации. Одним из ключевых направлений в ней стала продвинутая аналитика, объединяющая подходы big data и data science. За эти три года мы реализовали много успешных внутренних проектов. В результате у нас выработались определенные методологии и лучшие практики. Удалось создать современную инфраструктуру по работе с данными. Это привело к мысли о том, что если получаются внутренние проекты, то было бы неплохо включить в периметр и клиентов — заводы, производящие продукты из наших полимеров.

У нас есть служба заботы о клиентах — технический сервис, который помогает им решать возникающие проблемы. Но нефтехимия — сложное производство, в нем далеко не все тривиально, и, несмотря на все усилия, у многих клиентов остаются проблемы брака на производстве. Это не всегда связано с нашим сырьем, встречаются проблемы с оборудованием, нарушением технологического режима и рецептуры производства. Наши клиенты — довольно небольшие предприятия, по крайней мере по сравнению с «Сибуром», и у них совершенно точно не хватает внутренних компетенций для проведения углубленной аналитики. Исследование (или даже расследование) проблем стандартными средствами, а также поиск путей их решения и разработка рекомендаций занимали у нас до нескольких лет. Сначала требуется анализ экспертов, натурные эксперименты, затем — модификация оборудования и процессов. Это долго и затратно.

Оборудованием по сбору данных мы оснащены с 2014 года, наши производственные данные копятся уже много лет. Реализуя проекты у себя, мы поняли, что с помощью данных можем увидеть след любой проблемы. И рекомендации по исправлению любой ситуации можно разработать существенно быстрее и с гораздо меньшими затратами.

Мы выбрали наиболее «проблемных» клиентов, показали им результаты своих внутренних проектов и обратились к ним с предложением попробовать «решить проблему по-умному». Так завязались первые контакты, и за прошедший год удалось успешно реализовать два таких проекта. Мы берем клиентские данные, «склеиваем» их с нашими, моделируем всю производственную цепочку, находим проблему и даем рекомендации по ее устранению. В одном из первых же проектов брак удалось свести практически к нулю без какого-либо физического вмешательства.

Таким образом, к идее мы пришли эволюционным путем через успешные эксперименты внутри нашей компании. Теперь мы решаем проблемы клиентов, попутно выявляя и свои — иногда часть причин находится на нашей стороне.

— Сразу ли рассматривался этот сценарий при развитии в «Сибуре» направления работы с данными?

Три года назад такое даже представить было невозможно: мы еще только начинали, и уровень цифровой зрелости был недостаточным. Уже в процессе работы появилось понимание того, что можно расширить охват исследований.

В 2020 году у нас был запущен новый завод «ЗапСибНефтехим» — крупнейший на постсоветском пространстве. Он обеспечил потребности в базовых полимерах внутри страны, что позволило отказаться от их импорта. Теперь начинаем думать о выходе на международные рынки, где уровень конкуренции гораздо выше. Там совершенно недостаточно просто производить хорошую продукцию — нужно думать о сервисе и новых услугах. С этой точки зрения наши действия абсолютно логичны. После выхода из коронавирусного локдауна, который нас заметно притормозил (все командировки и встречи оказались под запретом), мы возобновим работы по развитию клиентских сервисов на базе данных.

— Как относятся бизнес-партнеры к идее делиться своими данными? Вероятно, далеко не все к этому готовы — и психологически, и технологически.

Да, эмоциональный момент очень силен. Такой вопрос всегда возникает, но у нас на него готов ответ. Все-таки мы не банк, и передаются вовсе не персональные или финансовые данные. Мы снимаем с оборудования технологические показатели: температуру, давление, осевые смещения и т. п. Сами по себе они не представляют особой ценности. Единственное, что иногда вызывает сомнение, — возможность через данные раскрыть рецептуру того или иного продукта. Но обычно удается прийти к взаимопониманию. Кроме того, со многими клиентами уже сложились отношения, в которых достигнут определенный уровень доверия: гипотетические риски не воспринимаются ими как серьезные.

Что касается технологической возможности выгрузки данных, то этот вопрос действительно является ключевым. Далеко не у всех клиентов оборудование достаточно современное, и это проблема. Примерно с 2010 года производственные линии оснащаются модулями по выгрузке данных, а вот если оборудование более старое, сделать ничего нельзя.

Но недостаточно иметь физическую возможность выгрузить данные. Иногда требуется приобретать специальную лицензию на такой функционал. Мы столкнулись с этим на первом же проекте. Пришлось проводить переговоры с крупным немецким производителем оборудования. Нам удалось договориться о том, что для таких проектов в ряде случаев возможность выгрузки данных предоставляется бесплатно. Сейчас пытаемся добиться похожих соглашений с другими производителями. Я думаю, что мы договоримся.

Это выгодно всем, в том числе и производителям оборудования, которым клиенты присылают массу рекламаций по поводу некорректной работы агрегатов. В подавляющем большинстве случаев оказывается, что проблема не в железе, а в неумелых действиях персонала, однако сил на разбирательства тратится много. Наша работа с клиентами по поиску причин инцидентов может снизить поток претензий.

— Что первично: заинтересованность клиентов в таких дата-сервисах или «создание спроса» — демонстрация готовности их предоставить?

Любой клиент заинтересован в повышении своей эффективности: он стремится производить больше продукции в единицу времени, используя меньше ресурсов. А если он повышает свою эффективность, то сможет купить у нас больше полимеров. Именно поэтому наш сервис бесплатен: мы тоже заинтересованы в решении проблем клиентов.

К сожалению, не все заказчики знают такие слова, как data science и machine learning, — приходится проводить много образовательной работы. Но все понимают, что мы нацелены на обоюдовыгодный результат, поэтому вопросов бывает немного.

— Существуют ли на рынке аналогичные сервисы?

В российской нефтехимии подобных сервисов точно нет. И в Европе мы об этом тоже не слышали, по крайней мере как о массовой истории. Но чем больше индустрия будет продвигаться в модернизации оборудования, тем больше будет появляться возможностей для анализа данных. В будущем это может стать необходимым минимумом уровня клиентского сервиса.

— Какие проблемы возникают при реализации таких проектов? Как вы их решаете?

Большая часть проблем — это, конечно, организационные вопросы. Искать лиц, принимающих решения, объяснять, договариваться, заключать дополнительные соглашения... Сейчас средний срок реализации проекта составляет шесть месяцев, и из них лишь два месяца требуются на сбор и анализ данных, а остальное время уходит на решение организационных моментов.

Это всегда итеративная работа, требующая создания совместных команд. Начинается все с генерации гипотез о сути наблюдаемых проблем. Впоследствии мы пытаемся их проверить с помощью анализа данных. Две трети гипотез обычно оказываются несостоятельными, с остальными работаем плотнее. Сразу после выяснения причин проблемы мы можем выработать достаточно достоверные рекомендации. Затем проводим натурные испытания, где проверяем их «в бою». Если эффект стабилен, то проблема считается решенной.

— Когда фактически были начаты работы и что за это время удалось сделать?

Первый проект был задуман и начат в четвертом квартале 2019 года, и к концу первого квартала 2020 года его удалось завершить. Затем был реализован еще один проект. К сожалению, из-за пандемии все ограничилось этими двумя проектами. Однако мы можем говорить о том, что эффективность наших решений подтверждена последующим мониторингом.

Еще для одного клиента в Европе мы провели предварительную исследовательскую работу. Там нам пришлось столкнуться с устаревшим оборудованием. Мы выдали свои рекомендации, и заказчик начал модернизацию производственной линии, которая должна завершиться в августе нынешнего года. Мы к этому проекту обязательно вернемся.

— Какие эффекты были достигнуты? За счет чего?

Например, у первого клиента были проблемы с браком: происходили частые обрывы пленки. В установку загружается полиэтилен, который от нас приходит в виде гранул, расплавляется, растягивается в тонкую пленку и сматывается в рулон с огромной скоростью. Эта пленка довольно часто рвалась, а в случае обрыва агрегат останавливается и весь рулон бракуется — потери очевидны. Нам удалось снизить обрывность пленки в 8–10 раз. Общий экономический эффект этого проекта составил около 2 млн долл. в год. При этом мы сохранили клиента и увеличили ему поставки сырья.

— Приведите пример рекомендаций, которые могут выдаваться производителю и имеют очевидную ценность для него.

Разумеется, они имеют весьма технический вид. Например: держать дисперсию по температуре в реакторах полимеризации в определенных рамках.

Можно привести любопытный пример из другого проекта. Полимер, подаваемый на вход установки, обладает определенными характеристиками. Одна из них — длина молекул, которая должна находиться в пределах допустимого диапазона. Мы выяснили, что если этот показатель у всей партии сырья близок к одной из границ диапазона, то проблем не наблюдается. Но если смешиваются «длинные» и «короткие» молекулы, то на производстве возникают проблемы. Мы стали за этим более пристально следить и отправляем данному заказчику только те партии, где разброс по длине молекул именно тот, при котором переработка идет наилучшим образом. То есть иногда нам приходится делать персонализированный продукт под конкретного клиента.

Такие истории уникальны для каждого конкретного клиента. По большому счету не важно, почему именно так происходит, — возможны нюансы оборудования или особенности климата. Главное — определить, как избежать проблем, и следовать этим правилам.

— На каких продуктах построена цифровая платформа «Сибура»?

Главной ее частью является инфраструктура озера данных, в которой есть множество инструментов, в том числе data governance и data quality. Это дает нам уверенность в том, что используется только нужная и корректная информация, а не «мусор». Мы внимательно следим за качеством данных. Для сырых данных используется стек Hadoop, в качестве реляционной базы данных — Vertica. В большинстве случаев мы склоняемся к решениям open source, но в определенных ситуациях можем использовать и проприетарные системы.

Следующий слой — ML Framework. Это наша собственная разработка — платформа, позволяющая управлять жизненным циклом моделей машинного обучения. Такой «DevOps для моделей» позволяет радикально сократить процессы разработки и снизить издержки на интеграцию с другими системами и на внедрение в промышленную эксплуатацию. По всем моделям, запущенным в промышленную эксплуатацию, происходит мониторинг метрик качества в режиме реального времени, что позволяет нам доверять результатам работы наших моделей.

Наконец, важно отметить методологическую часть, аккумулирующую накопленный опыт реализации подобных проектов. Несмотря на различие индустрий, производственные проекты схожи друг с другом: сначала идут эксперименты, затем, найдя рациональное зерно, исследователи начинают копать глубже и т. п. Наработанные практики позволяют в начале проекта не раскачиваться слишком долго, а сразу идти по оптимальному маршруту.

В качестве инструмента визуализации и отчетности используем Tableau или, при необходимости более сложного пользовательского инструмента, разрабатываем UI с помощью библиотеки компонент SiburKit — собственной разработки на базе React.

— При анализе данных клиентов каждый раз приходится решать специфические задачи. Как минимизировать время и силы на их решение?

Это тоже часть нашей методологии. Мы используем слегка модифицированный Scrum и сразу создаем команду, в которую включены все необходимые представители заказчика, в том числе со стороны производства. Туда же входят дата-сайентисты, скрам-мастер и владелец продукта. Это позволяет, во-первых, исключить этап, когда все пишут друг для друга технические задания, которые обязательно будут неправильно поняты, а во-вторых, дает возможность двигаться короткими этапами и получать быструю обратную связь. Принцип fail fast позволяет сокращать издержки на погружение в процесс и быстро отбраковывать несостоятельные гипотезы. Участие заказчика в команде позволяет повысить вовлеченность и понизить затраты на коммуникацию.

При этом к концу проекта наши аналитики разбираются в производственных процессах не хуже технологов, несмотря на отсутствие опыта и специального образования. Через данные можно довольно глубоко погрузиться в процессы, а плотное взаимодействие с производственниками позволяет ответить на возникающие в ходе этого вопросы.

— Сейчас среднее время проекта оценивается в полгода. А что в планах? Каковы целевые показатели?

В идеале это три месяца, то есть наш показатель time to market должен сократиться вдвое. Если сейчас из шести месяцев проекта аналитическая работа занимает лишь два, то это вполне достижимо. С опытом у нас, несомненно, появятся лучшие практики по минимизации всех организационных проблем, что позволит значительно «схлопнуть» срок проекта. Разумеется, это не касается случаев, когда заказчику потребуется дополнительно оснащать производственные линии.

— Какова конечная цель этого проекта: возможность продавать более качественную продукцию по более высокой цене или что-то иное?

Скорее, это возможность выйти на высококонкурентные зарубежные рынки и закрепиться на них. Конечно, нас там никто не ждет с распростертыми объятиями. У предприятий уже существуют сложившиеся связи. И когда на рынок выходит новый игрок, ему приходится тяжело. Придется либо демпинговать, что неправильно, либо предлагать более качественный продукт и хороший сервис.

В целом мы фокусируем внимание на клиентоориентированности. Проведена очень большая работа, и мы хотим приблизиться к мировым эталонам в нашей индустрии. Те, кто не соответствует ожиданиям заказчиков, будут вынуждены постепенно уходить с рынка.

— В каком направлении будет развиваться этот проект? Платформой для каких новых сервисов он может стать?

Сейчас мы планируем масштабироваться экстенсивно, расширяя круг клиентов. Ближайший год, видимо, будет посвящен именно этому. Начали с «пленочников», а как только снимут ограничения, перейдем на «трубников» и «шинников». Накопив статистику и лучшие практики, сможем подумать и об интенсивном пути развития.

В будущем, вероятно, речь пойдет о предоставлении сервисов: рекомендательная модель будет работать на инфраструктуре «Сибура», а клиент просто получит к ней доступ и в режиме реального времени будет видеть дашборд со своими метриками и рекомендациями. Этот сервис вполне можно «завернуть» в цифровой продукт нового поколения.

Всем нам время от времени звонят из разных компаний и желают что-то продать. В большинстве случаев предложения неуместны, а звонки раздаются не вовремя, и поэтому такие обращения часто вызывают негативную реакцию. Низкая эффективность подобных обзвонов известна, но далеко не во всех компаниях готовы решать эту проблему.

В компании «Финам», предоставляющей услуги на фондовом рынке, выстроили рекомендательную систему, которая позволяет предлагать услуги, с большой вероятностью способные заинтересовать клиентов. При этом звонки поступают в удобное для человека время. Как результат, растет конверсия — главный результат работы менеджера по продажам. О реализации этого проекта рассказывает Николай Саратовский, руководитель направления Data Science компании «Финам» и номинант на премию CDO Award 2021 .

— Как зарождался в компании интерес к работе с данными?

У нас всегда накапливалось довольно много информации о клиентах. Когда клиент открывает у нас счет, мы получаем его персональные данные. В ходе работы накапливается много сведений о том, чем человек торговал, как это делал, какие результаты получал. Формируется довольно большой пласт очень интересной информации. Кроме того, накапливается много данных по итогам совершенных менеджерами звонков, о проведенных встречах и т. п. Наконец, имеется статистика о действиях клиентов на сайте.

В таких случаях рано или поздно появляется идея использовать собранную информацию для более эффективной работы с клиентами.

— Но ведь информация неполная. Например, во время звонков и встреч с клиентами фиксируется не весь возможный контент.

Безусловно, фиксируется не все, хотя в этом направлении тоже ведется работа. Менеджер во время общения с клиентом расставляет галочки в определенных полях, обозначая содержание беседы. Кроме того, с этой целью можно выполнять распознавание аудиозаписей, но мы пока еще в самом начале пути.

Перед тем как идти в «дебри», следует решить относительно простые, но более серьезные проблемы. Например, в группе «Финам» существует большое количество разрозненных баз данных. В них находится много важной информации, которую надо добыть, очистить, осмыслить ее содержание.

Поначалу многие отнеслись скептически к идее использовать данные, люди сомневались в том, что история, связанная с Data Science, сможет быть полезной. Чтобы разрушить недоверие, мы запустили пилот по рекомендации клиентам новой услуги, которая появилась два года назад: было непонятно, кому и как ее продавать. Пилотный проект помог ответить именно на эти ключевые вопросы. После первых результатов у руководства появился определенный оптимизм и наш проект начал расширяться.

— С чего и когда вы начали? Что было сделано за это время?

Пилот был начат два года назад — в феврале 2019 года. К маю мы запустили решение и показали его эффективность. Далее все переросло в рекомендательную систему, помогающую менеджерам подбирать удобное время для общения с клиентом и подсказывающую наиболее интересные предложения по продажам. Это полноценный продукт, который уже на протяжении года работает и демонстрирует очень неплохие результаты. Сейчас идет работа еще над тремя продуктами.

— Какова цель реализуемых в компании проектов в области работы с данными?

Сейчас это работы, направленные на внутренние нужды компании. Мы разрабатываем системы, которые повышают эффективность компании, будь то работа менеджеров по продажам, разработка новых продуктов, маркетинговые активности. Заказчиками выступают многие подразделения. В последнее время приоритет отдается задачам, связанным с работой с клиентами: получение инсайтов, выдача рекомендаций, предсказание оттока и общее повышение эффективности работы менеджеров.

— Серьезная работа с данными подразумевает наличие некой стратегии.

У нас начинает формироваться культура работы с данными. В компании существует множество баз данных, с которыми очень сложно работать. Сейчас мы объединяем их в общее хранилище с быстрым и удобным доступом, что позволит подключать различные системы анализа и визуализации данных, а также мониторинга процессов. Речь идет о демократизации данных.

— Как решается вопрос качества данных?

Нам волей-неволей приходится с головой погружаться в работу бизнес-заказчика — например, менеджеров по продажам. Необходимо время, чтобы осмыслить данные, содержащиеся в базах. Во всех подразделениях существует внутренняя терминология, освоив которую, мы можем начинать работу с поступившими данными. Скажем, чтобы делать какие-то прогнозы по продуктам, нам приходится разбираться в работе фондового рынка. Погрузившись во внутреннюю кухню, мы начинаем работать с данными и использовать классические методы их очистки. Если вы знаете, что именно поступает на вход и что требуется получить на выходе, то вам проще обрабатывать данные.

— В чем заключалась наболевшая проблема бизнеса? В чем суть реализованного проекта?

Несложно понять, как происходят продажи в большинстве компаний, — вероятно, все сталкивались с ситуациями подобных звонков. Менеджер звонит клиенту и предлагает ему приобрести какой-либо продукт, не зная заранее, заинтересует ли этот звонок клиента, удобно ли ему разговаривать и нужен ли ему этот продукт. Менеджерам приходится совершать множество звонков, эффективность которых оставляет желать лучшего. Более того, в совсем неудачных случаях звонок не просто окажется «пустым», но и вызовет негатив со стороны лояльного клиента. Именно эту проблему и пытались решить: звонок должен выполняться в удобное время и касаться действительно интересных продуктов, которые человек приобетет с высокой вероятностью.

Кроме того, важно отслеживать историю уже открытых сделок с клиентом для выставления времени их завершения. Если у менеджера открыта кросс-продажа и она тянется уже пару недель, то итогом может стать проигрыш для компании, потому что клиент так и не воспользовался услугой. Чтобы такого не было, система отслеживает и анализирует ряд параметров, а затем сообщает менеджеру о том, что «клиент созрел» и пора позвонить ему, чтобы предложить закрыть сделку. То есть система работает в двух направлениях: рекомендует новую сделку по наиболее подходящему для клиента продукту и предлагает оптимальное время для ее завершения.

— Какие источники данных использовались в ходе проекта? И как в целом определяется, какая информация нужна?

Поначалу действительно непонятно, что важно, а что нет. Разработка всегда начинается с какой-то гипотезы и общего набора данных — это десятки баз с тысячами атрибутов. Понятно, что все их использовать невозможно, да и незачем. Например, если речь идет о конкретной задаче помощи сотрудникам отдела продаж в подборе продукта и оптимального времени звонка, то логично использовать социально-демографические параметры клиента (пол, возраст, местоположение). К ним добавляются все данные об уже совершенных сделках: какие продукты были приобретены, а от чего клиент отказывался. И конечно, важны периоды активности конкретного человека, его привычки: когда он посещает сайт, когда он сам нам звонит, в какое время раньше был готов разговаривать с нашими менеджерами. По анализу действий человека на сайте и истории предыдущих коммуникаций можно с большой уверенностью определить время, удобное для него. Наконец, используются данные по рискам клиента, чтобы понять, насколько он расположен к рискованным действиям и, соответственно, к каким доходностям стремится.

Прежде чем загружать эти данные в алгоритм, мы проводили корреляционный анализ, чтобы выделить значимые и незначимые показатели, а какие-то из них просто объединить. В результате из сотни параметров осталось около 30. Далее проводили обучение алгоритма и тестирование, а затем запускали решение сначала в пилотную, а затем в полноценную эксплуатацию.

— Какие ИТ-платформы применяются и почему именно они?

Конечно, мы использовали инструменты open source. Все данные хранятся в CRM, которая существует в компании уже много лет. Решение разрабатывали на Python, настраивали взаимодействие по Open API между скриптами и CRM. Раз в неделю скрипт запускается, обсчитывает поступившие данные и формирует для менеджеров звонки с предложениями на следующую неделю. После этого система формирует запрос и в качестве ответа получает план звонков.

— В чем заключалась самая большая проблема?

Подготовка данных. Понять, что именно нам нужно, какие данные являются значащими, как их увязывать между собой.

Еще одна большая проблема — скорость вычислений. Мы боролись за то, чтобы расчеты были максимально быстрыми и потенциально система могла делать их не раз в неделю, а ежедневно или даже в реальном времени — в потоковом режиме.

— Какие эффекты удалось получить и за счет чего?

Самое главное — улучшение коммуникаций с клиентами. Конечно, идеальная картина «один звонок — одна продажа» недостижима, но стремиться к ней необходимо. Второе важное направление усилий — корректность предлагаемых клиенту продуктов. Не имеет смысла предлагать то, что клиент точно не купит. Наконец, важно продвигать новые, только что появившиеся продукты, в отношении которых пока неясно, кому и как продавать. Все эти цели в той или иной степени были достигнуты.

Конверсия по открываемым сделкам, когда система рекомендует позвонить конкретному человеку и предложить ему определенный продукт, возросла на 8% по сравнению с обычными показателями обзвонов. Количество же успешных закрытий сделок возросло в 2,5–3 раза. При этом число успешных дозвонов увеличилось на 32%.

— А каких результатов вы ожидали сами?

Мы ожидали более скромных результатов — например, считали, что будет хорошо, если показатели открытия сделок повысятся на 5%. Хорошо, что удалось немного превысить их. По числу закрытых сделок ожидался рост конверсии на 10–20%, но никак не в разы. Рост числа дозвонов предполагался на уровне 10–15%.

Относительно возможностей новых технологий бизнес был настроен скептически и по большому счету считал создаваемое решение чем-то вроде гадания на кофейной гуще. Однако после получения результатов сначала в тестах, а затем и в боевой эксплуатации, было принято решение не только расширить этот эксперимент, но и запустить новые проекты.

— Вас в компанию взяли для выполнения этого проекта?

Создавая первый пилот рекомендательной системы, я был внешним сотрудником — меня пригласили именно для его запуска. После получения результата я был принят в штат и приступил к полноценной реализации проекта. Сейчас у меня есть команда — подразделение data science из четырех человек: два дата-сайентиста, дата-инженер и дата-стюард. Это уже полноценный отдел работы с данными, с которым мы занимаемся другими проектами. Бизнес оценил наши успехи в работе и увидел перспективы в развитии этого направления.

— Приведите несколько ключевых примеров инсайтов, которые «выстрелили».

Любопытные наблюдения касались риск-менеджмента. Все клиенты проходят риск-профилирование — это обязательное требование ЦБ РФ. С этой целью они заполняют специальные анкеты, в которых указывают свои приоритеты.

Оказалось, что данные, заявляемые клиентами при анкетировании, далеко не всегда соответствуют их поведению. Например, человек может говорить о готовности к высоким рискам (например, о возможности «просадки» в 30% и готовности терпеть убытки), однако, оценивая его действия, мы видим, что при проседании счета на 3% он уже закрывает позицию. То есть ни о каком агрессивном профиле речи быть не может. В случае таких клиентов система автоматически перестраивает всю модель дальнейших предложений, отказываясь от инструментов с высокими рисками и защищая их капитал.

Это оказало нам большую услугу. Вряд ли клиенты осознают такую заботу о себе, но их лояльность действительно повышается: людей всегда нервируют предложения, не соответствующие их ожиданиям. И наоборот, они готовы иметь дело с организацией, понимающей их потребности.

— Как вы думаете, чем вызваны заметные расхождения в заявлениях людей и их поведении?

Таких клиентов можно разделить на две группы. Первая — это новички, не понимающие, как устроен фондовый рынок. Как обычно, они хотят всё, сразу и даром. И есть люди, просто неправильно оценивающие свои желания.

Сделав выводы из своих наблюдений, мы стали работать в парадигме того, что все сказанное клиентом следует подвергать сомнению. Предоставленная информация слишком часто оказывается недостоверной, гораздо важнее реальное поведение людей. В результате мы стали иначе подходить к составлению анкет для опросов клиентов — встроили в них защитные механизмы, позволяющие определить, что человек слегка привирает.

— Какие результаты своей деятельности в компании вы сами считаете ключевыми? Что изменилось?

Самое главное — изменился подход к работе с данными. Сейчас к нам не просто начинают прислушиваться, но и приходят с идеями — скажем, «прикрутить» искусственный интеллект к тому или иному процессу. Бизнес-подразделения приходят со своими проблемами, и мы набираем себе портфель проектов.

— Эта популярность пришла сама собой или вы проводили дополнительную просветительскую работу?

Скорее, это итог достигнутых нами результатов. Но надо сказать, что когда мы беседовали с представителями бизнес-подразделений и задавали им вопросы об их работе, то видели в их глазах живой интерес. Обсудив проблемы с большей частью подразделений, мы стали завоевывать их доверие.

— Что дальше? Какими вы видите дальнейшие направления развития своей работы?

Созданная рекомендательная система находится на поддержке. Параллельно идет работа над крупным проектом по искусственному интеллекту с более широким функционалом, который в перспективе может поглотить рекомендательную систему и включить в себя еще несколько разработанных решений. Рассчитываю, что к концу года мы уже сможем говорить об этом публично. В ходе проекта мы получаем очень много интересной информации, которую нам не терпится применить на практике и затем рассказать о своем опыте.

Кроме того, мы прорабатываем возможности использования искусственного интеллекта для построения торговых алгоритмов и всерьез занимаемся предотвращением оттока клиентов. Крайне важно, чтобы клиенты были довольны и оставались с нами.

«Газпром нефть» — один из лидеров цифровой трансформации в нашей стране. Мы постоянно слышим о достижениях компании во внедрении передовых цифровых решений в разные направления бизнеса. Понятно, что без серьезной работы с данными такие прорывы были бы невозможны. Но разрозненных проектов по созданию хранилищ и аналитике данных уже недостаточно. С мая 2019 года в «Газпром нефти» функционирует общекорпоративная структура по управлению данными, которая закладывает фундамент для всех инициатив цифровой трансформации компании.

Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть» и номинант премии CDO Award 2021, рассказывает о масштабном проекте выстраивания корпоративной функции управления данными: как это начиналось, к чему пришли сегодня и какие задачи стоят на ближайшее будущее.

Данные в основе цифровой трансформации

— Каковы предпосылки для создания функции «Управление данными» в «Газпром нефти»? С чего вы начинали?

Одной из главных предпосылок стало создание стратегии цифровой трансформации компании. В 2018 году в «Газпром нефти» начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными.

Перед нами стояли задачи формирования методологии, выстраивания процессов и встраивания их в регулярную деятельность подразделений для обеспечения максимальной ценности от использования данных. Также требовалась реализация инструментальной поддержки при помощи внедрения платформы управления данными, формирование нового семейства центров компетенций и широкомасштабное обучение.

Совместно с компанией McKinsey нами был реализован проект по формированию концептуальной модели управления данными. В результате были определены ключевые принципы, цели и задачи функции управления данными, основные КПЭ, определяющие ее эффективность, процессная и организационная модели, необходимые компетенции и инструментарий.

С точки зрения приоритетов в первую очередь необходимо было обеспечить прозрачный и быстрый доступ к качественным данным для бизнес-пользователей. В компании огромный объем информации, которая хранится и обрабатывается в более чем тысяче бизнес-систем. Пока система работы с данными настраивается, информация еще существенно разрозненна, что затрудняет оперативный анализ и принятие решений на ее основе. Работы по интеграции данных и активное строительство корпоративного хранилища дают первые результаты. Раньше в отсутствие централизованной точки доступа каждый пользователь вынужден был запрашивать права на чтение данных владельцев отдельных бизнес-систем, что сильно ограничивало возможности работы с данными. В настоящее время реализуется доменная модель организации доступа к данным, которая существенно продвинет компанию в области демократизации данных и ускорения процессов их обработки. Кроме того, мы уделяем особое внимание таким направлениям деятельности, как повышение уровня доверия к данным за счет увеличения их качества, а также формирование ответственности за данные.

— Какое место занимает функция «Управление данными» в оргструктуре компании?

Мы активно сотрудничаем с ИТ-кластером компании и ее подразделением цифровой трансформации. Разрабатывая с McKinsey концепцию управления данными, мы рассматривали различные варианты расположения нашей функции в организационной структуре и сочли наиболее удачной модель, в соответствии с которой функция войдет в состав подразделения, ответственного за вопросы экономики и финансов, поскольку в нем уже накоплен серьезный опыт работы с данными, а сотрудники имеют хорошее представление о потребностях в данных других подразделений.

— В «Газпром нефти» работа по управлению данными на уровне подразделений уже ведется. Например, лауреатом премии CDO Award 2020 в номинации «За обеспечение качества данных» стал Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж. Каким образом вы, строя глобальную корпоративную функцию «Управление данными», учитываете наличие таких процессов, разный уровень зрелости подразделений с точки зрения работы с данными?

Компания реализует федеративную модель управления данными: определенные задачи решаются на уровне корпоративного центра, и есть направления, которые развиваются в дочерних подразделениях, а затем их лучшие практики тиражируются на всю компанию.

В «Газпром нефти» создана специальная система коллегиальных органов, которая унифицирует и оптимизирует процессы управления данными в разных подразделениях. Управляющий совет по данным определяет стратегию в области управления данными, приоритизирует задачи в рамках реализации дорожной карты, принимает наиболее важные решения по развитию функции. Экспертный совет призван решать прежде всего вопросы методологии, выявлять лучшие практики для их дальнейшего тиражирования. Технический совет отвечает за выбор ИТ-инструментов, обеспечивая целостность архитектуры управления данными, и регулирует, какие технологические решения реализуются на уровне корпоративного центра, а какие можно эффективно воплотить в жизнь на уровне бизнес-подразделений.

На корпоративном уровне сосредоточены процессы data governance, в частности управление бизнес-глоссарием и каталогом данных. Мы создаем нашу википедию по данным компании, так называемый единый источник правды о данных. В рамках развития платформ на корпоративный уровень поднимаются также отдельные решения, реализованные бизнес-блоками, что позволяет быстрее и эффективнее их использовать для оптимизации процессов на уровне всей компании.

Вначале — методология

— Как формировалась методология управления данными?

Мы начали с методологии, потому что понимали, что пока не будет сформирована модель процессов и детально проработаны артефакты управления данными, тиражирование в рамках компании невозможно. Первым шагом стала разработка процессной модели, в основе которой лежат свод знаний по управлению данными DAMA DMBoK и лучшие практики передовых компаний России и мира. Затем мы конкретизировали ее с помощью так называемых кратких руководств, определяющих порядок процессов и роли в них. Следующим шагом стало формирование детальных стандартов и регламентов, являющихся базисом методологии.

Создание методологии идет параллельно с разработкой корпоративной системы управления данными. Задача состоит в том, чтобы сначала описать целевой процесс, а затем найти инструмент, который обеспечит его гибкую реализацию. Многие действуют в обратном порядке: выбирают коробочное решение и под него настраивают процессы. Наш путь более сложный, но более правильный, мы под методологию настраиваем инструменты.

— Какие процессы управления данными у вас есть?

Процессная модель включает в себя семь блоков процессов. Первый процесс — организация управления данными, в основе которой лежит доменная модель. Домены данных — это предметные области работы с данными, определяющие границы ответственности за данные. Процесс организации управления данными описывает ключевые роли, такие как ответственный за домен, администратор домена, бизнес-эксперт. Кроме того, в рамках данного процесса детально описывается, как формируется спрос на данные в домене.

Следующий блок процессов — управление структурными элементами данных, включающий такие ключевые направления, как управление архитектурой данных, управление НСИ, управление репозиторием метаданных.

Блок управления жизненным циклом данных описывает все, что касается движения данных во времени, включая определение требований к регламентным срокам поставки и интеграции данных.

В отдельный блок выделен процесс управления неструктурированной информацией, в его рамках успешно реализован проект корпоративного поиска и анализа контента. Корпоративный поиск очень востребован, с его помощью более 17 тыс. сотрудников получают доступ к более чем 6,5 млн документов.

Следующий и один из наиболее важных составных элементов модели — процесс управления качеством данных, обеспечивающий доверие к данным бизнес-пользователей.

Процесс управления хранилищем и BI и продвинутая аналитика логично завершают процессную модель и формируют основную ценность принятия решений на основе данных.

— В каком статусе находятся процессы: описаны, реализованы?

Практически все процессы функционируют. Их внедрение в операционную деятельность происходит поэтапно. Мы определили пилотные домены данных, где внедрили процессы в первую очередь. Для этого была сформирована целостная программа управления данными, включающая семь проектов, охватывающих девять пилотных доменов. Три домена связаны с коммерческой деятельностью по сбыту нефтепродуктов; четыре домена покрывают процессы текущего и капитального ремонта скважин и интегрированного планирования добычи нефти, добычу на шельфовых активах; домены производственной безопасности и управления персоналом относятся к общекорпоративным функциям.

В настоящий момент мы получили результаты по пилотным проектам и начали масштабировать их на домены так называемой второй волны.

— Какие выводы были сделаны по результатам пилотной программы?

На пилотных доменах мы сформировали ключевые артефакты управления данными, научились выявлять и определять спрос бизнеса на данные и даже научились иногда данные бизнесу «продавать» (показывать ценность на реальных кейсах и задачах). По итогам проделанной работы мы поняли, что, во-первых, успех управления данными в огромной степени зависит от уровня зрелости бизнес-подразделения, а во-вторых, этот уровень изменяется со временем. Не только мы нарабатываем опыт как функция управления данными, но и в подразделениях, которые участвуют в пилоте, существенно растет уровень понимания значения данных и процессов работы с ними.

Поэтому основную задачу мы видим в том, чтобы повысить уровень зрелости бизнеса в отношении данных. Если у бизнеса есть осознанный запрос на данные, все остальное — дело техники.

— Организационная модель функции «Управление данными» — в чем ее задача?

Организационная модель определяет взаимодействие между бизнес-подразделениями, функцией управления данными и ИТ-кластером: три больших блока, в каждом из которых требовались определенные преобразования с точки зрения выполняемых функций. В бизнес-подразделениях появились новые роли: ответственные за данные, администраторы доменов и т. д. Со стороны управления данными сформирован целый набор функций, реализованных либо в качестве сервисов, либо в рамках проектной деятельности. Организована совместная работа с коллегами из цифровых и ИТ-подразделений, которые помогают нам в развитии инструментов управления данными.

Организационная модель также описывает, как формируется команда внутри функции управления данными — на уровне корпоративного центра и на уровне основных бизнес-подразделений, каким образом реализуется кросс-функциональное взаимодействие специалистов, как обеспечиваются накопление и развитие компетенций.

— Какое обучение и для кого потребовалось при формировании функции «Управление данными»?

По обучению у нас идет очень активная работа. Совместно с Высшей школой экономики мы разработали модуль по управлению данными в рамках образовательной программы по цифровой трансформации для топ-менеджеров. Нам удалось собрать сильную команду спикеров — экспертов рынка, в том числе я сама с удовольствием приняла участие в этой программе в качестве спикера. В следующем году этот курс может стать доступным для менеджеров других компаний.

Кроме того, сформированы различные программы внутреннего обучения. Сотрудники функции управления данными (более 170 человек) уже прошли как минимум один тренинг по инструментам, в настоящий момент идет обучение в части методологии и сертификация ключевых сотрудников функции по DAMA DMBoK.

В этом году мы планируем запустить программу для бизнес-пользователей — Школу аналитики в рамках факультета цифровой трансформации корпоративного университета «Газпром нефти». Это входит в план работ кафедры управления данными и бизнес-аналитики, созданной в 2020 году. Кроме того, для сотрудников бизнес-подразделений, которые занимаются работой с данными, создаются видеокурсы по различным компонентам управления данными, которые станут обязательными элементами программ корпоративного университета.

«В 2018 году в "Газпром нефти" начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными»

Платформа управления данными

— Ваша корпоративная платформа управления данными называется Reporting HelpDesk (RHD). Всего лишь HelpDesk? Не принижает ли такое название значимость решения?

Да, мы тоже поняли, что переименование назрело. Проект начинался два года назад с сервиса отчетности, но сейчас это уже полноценная платформа управления данными, интегрирующая множество инструментов. Очевидно, что название не отражает масштаба решения.

— Какие задачи решает платформа, из каких блоков она состоит?

Фронтенд платформы — это бизнес-глоссарий, построенный на базе системы Alteryx. Основная цель глоссария — реализовать процесс know your data, обеспечить прозрачность всех данных, которые есть в компании. Решение представляет собой комплексный каталог, который наполняется данными по доменам, поддерживает внутренние потоки работ по сбору и описанию данных, делает доступной информацию по их уровню качества. Предполагается также интеграция с внутренним порталом для сотрудников, что позволит распространять методологическую информацию по управлению данными по всей компании, а также сделает доступным процесс заказа дата-сервисов.

Бизнес-глоссарий интегрирован с каталогом технических метаданных на базе решения Informatica Enterprise Data Catalog, благодаря чему в бизнес-глоссарии отображаются потоки данных (data lineage) и процесс трансформации данных.

Отдельный блок платформы представлен инструментом оценки качества данных, реализованным с помощью Informatica Data Quality. Оценка качества интегрирована с общекорпоративным журналом результатов проверок качества данных, который, в свою очередь, передает информацию о зафиксированных нарушениях правил качества в корпоративную платформу управления инцидентами. В рамках этого компонента платформы выполняются процессы управления инцидентами и управления проблемами качества данных.

Функции бизнес- и продвинутой аналитики реализуются с использованием инструментов SelfService BI на базе Qlik с возможностью доступа к данным через каталог, обеспечивают формирование дашбордов, генерацию отчетности по запросу и т. д.

Платформа интегрируется с корпоративной системой управления НСИ на базе «1С», а также с корпоративным поиском, который, в свою очередь, позволяет обрабатывать неструктурированные метаданные.

Таким образом, в рамках реализации проекта RHD мы развиваем платформу, представляющую собой комплексную систему управления данными.

— Есть ли уже примеры того, как использование бизнес-глоссария — «узнавание своих данных» — стимулировало бизнес на новый аналитический проект?

Конечно. Например, описание данных в домене коммерческой деятельности позволило существенно повысить эффективность реализации нефтепродуктов за счет получения оперативной и достоверной информации в части детализации по контрагентам, каналам продаж и т. д.

В домене производственной безопасности с использованием сервисов цифровой платформы (PaaS) «Газпром нефти» по интеграции и анализу данных реализуются инструменты для анализа барьеров безопасности. Барьер безопасности — это информация о том, где может быть нарушено правило безопасности, к чему это приведет, как этого можно избежать. Описание барьера с помощью данных и визуализации в дашбордах позволяет максимально приблизиться к автоматизированной системе предотвращения происшествий.

Все внимание — качеству

— Важный процесс управления данными — обеспечение их качества. У вас есть реестр бизнес-правил, которые переводятся в реестр технических правил качества данных. Как это делается и что дает?

С помощью бизнес-правила описывается требование бизнеса к элементу данных. Например, сотруднику Блока производственной безопасности необходимо предоставить информацию по номерам транспортных средств, которые выезжают на нефтепромысел, с детализацией по времени, чтобы можно было отследить нарушителей. На языке бизнеса требования сформулированы следующим образом: для поля «номер автотранспортного средства» должна быть доступна информация в разрезе времени, когда транспортное средство работало на месторождении. Затем эта информация переводится в язык технических правил при помощи Informatica DQ, то есть создается код технической проверки на наличие в данном поле данной информации. Благодаря процессу мониторинга качества данных мы можем отследить, когда была проведена проверка этих данных, сколько инцидентов выявлено на определенном датасете, в какой период времени произошли инциденты и т. д.

— Использование процессов управления инцидентами и проблемами в качестве данных — ваше ноу-хау или это распространенный подход?

Это классическая реализация процесса качества данных. Сначала необходимо найти инциденты, то есть нарушения качества, затем — понять, кто их может устранить, то есть определить производителей данных, ответственных за их состояние. И после этого обеспечить решение инцидента, иначе уровень качества останется неизменным. Не могу сказать, что внедрение такого подхода идет легко. В каждом отдельном домене разработка планов по повышению качества данных имеет свои особенности. Основная задача — определить, что можно сделать для того, чтобы повысить качество приоритетных для бизнеса элементов данных.

— В компании огромное количество источников данных. Какие из них создают наибольшие сложности?

Я бы прежде всего назвала ландшафт SAP: он у нас достаточно сложный, с жесткими условиями по интеграции, что создает дополнительные требования и условия для внедрения инструментов управления данными. Например, необходимы специальные коннекторы, чтобы считывать метаданные. Это непростая задача, но мы нашли подход к ее решению и сейчас уже хорошо понимаем, как работать с метаданными для этих систем.

Второй по масштабу ландшафт в компании представлен платформой «1С», для которой нет типовых решений от вендора по сбору метаданных, поэтому также требуется разрабатывать индивидуальный подход.

Достаточно большое количество источников данных в компании представлено MES-системами, для них мы только начинаем прорабатывать вопросы управления данными. Действительно, источников данных в компании множество, между ними много различий, и каждая группа систем требует своего подхода.

— А каков вклад бизнес-пользователей в обеспечение качества данных?

Появилась новая роль — ответственный за данные. Матрица ответственности за данные — отдельный артефакт качества данных, в котором отмечено, что за определенные данные в этом дочернем обществе отвечает конкретный сотрудник. И это очень важная история, потому что процесс управления инцидентами качества привязан именно к ответственному за данные: он совместно с аналитиком по качеству данных разбирается с инцидентами, может оперативно получать информацию, а если есть причины для недовольства его работой с данными, то делает выводы и оперативно принимает меры по повышению качества данных.

— С другой стороны, у бизнес-пользователей есть возможность самостоятельно строить аналитические приложения — SelfService BI. Насколько широко применяется этот механизм?

В подразделении, которое отвечает за логистику, переработку и сбыт продукции, инструменты SelfService BI подключены к хранилищу, и пользователи получили возможность из портала работать с разнообразными датасетами. Сейчас мы занимаемся донасыщением источников данных для SelfService BI в рамках интеграции с корпоративной платформой анализа данных, а также SAP BW, интегрируя огромный объем самых критичных для бизнеса данных.

— Можно ли сказать, что в результате ваших усилий по внедрению управления данными существенно расширился круг людей в компании, которые работают с данными, получают от них эффект и несут за них ответственность?

Безусловно, это так. Прежде всего в пилотных доменах.

Первые итоги и большие планы

— Каковы результаты вашего проекта на данный момент? Дает ли функция «Управление данными» экономический эффект?

Экономический эффект, безусловно, есть. Уровень экономической эффективности, достижение которого обеспечивает программа по управлению данными, сравним с показателями эффективности других инвестиционных проектов компании.

Главный результат — функция «Управление данными» участвует в формировании фундаментальных процессов в рамках цифровой трансформации «Газпром нефти». Первый год реализации стратегии цифровой трансформации обеспечил компании 7,2 млрд рублей экономического эффекта, в этом есть и наш вклад.

Но впереди у нас большой путь. По каждому из ключевых направлений программы по управлению данными (методология, инструменты, внедрение в регулярную операционную деятельность бизнес-подразделений, коммуникации и обучение) реализуется дорожная карта. Масштаб работ огромный, поскольку компания большая и диверсифицированная. Мы рассчитываем на то, что активное внедрение технологических инструментов позволит в ближайшее время осуществить прорыв в масштабировании функции «Управление данными».

— Каковы сроки реализации дорожной карты?

Около 40% доменов данных будут охвачены функцией «Управление данными» до конца 2021 года, а 100-процентное покрытие ожидается к 2023 году.

— Насколько важен для отрасли ваш опыт в управлении данными?

Пока уровень развития управления данными существенно выше в банках и в розничной торговле. Промышленность только начинает двигаться в этом направлении. Мы обмениваемся опытом с большим количеством производственных компаний, также переосмысливаем наработки финансовой отрасли и ретейла, чтобы применить их в своей практике. Так что в определенном смысле мы — одни из первопроходцев.

Снижение уровня бедности — крайне важная для всего мира задача, находящаяся на повестке дня и в России, и на международном уровне. Эту проблему не решить без наличия оперативных и достоверных данных о реальных людях, нуждающихся в помощи, без анализа их профиля и местонахождения.

Внедренное в Ростовской области решение, направленное на борьбу с бедностью (оно стало одним из победителей конкурса World AI&Data Challenge в 2019 году), позволило создать портреты малообеспеченных семей с максимальной декомпозицией их характеристик, а также выстроить «тепловые карты» малоимущих граждан на основе обезличенных данных телеком-операторов. Такое решение дает возможность сконцентрировать меры социальной поддержки в тех районах, которые в этом больше всего нуждаются. Результаты такой работы по анализу данных помогли расширить направления использования социального контракта — одной из мер, которая поможет семьям справиться с временными трудностями. Использование внедренного решения позволило заметно увеличить число семей — до более 10 тыс., — которые улучшили свое материальное благополучие.

О подходах к реализации этого проекта рассказывает Антон Алексеев, советник губернатора Ростовской области и номинант премии CDO Award 2021 .

— Как зарождается data-driven-подход в регионе , откуда растет интерес к работе с данными?

Сегодня управление на основе данных — уже не просто модное направление, а требование времени, необходимый минимум для работы современных государственных служащих. В Ростовской области в 2019 году были запущены первые проекты по теме цифровизации, которые можно обозначить в совокупности как «образовательный компонент» цифровой трансформации, начатой в области. Так, мы среди первых пяти субъектов в России провели обучение государственных и муниципальных служащих основам цифровой трансформации, и уже по результатам «первого подхода к снаряду» около 350 человек из всех уголков региона были вовлечены в тему «цифры».

Затем такая работа стала выполняться на системной основе, и для повышения ее эффективности были проведены профильные мероприятия для образовательных, общественных и коммерческих организаций региона для вовлечения их представителей в цифровую повестку. Одной из важных реперных точек в этом смысле стало проведение «цифровой прокачки региона» совместно с АНО «Цифровая экономика» в марте 2020 года, результаты которой даже позволили наработать основу для дорожной карты цифровой трансформации области. К слову, в 2020 году цифровые активности региона и его сообществ не остались незамеченными в информационном пространстве на уровне страны: в декабре, по итогам всенародного голосования по Премии Рунета, Ростовская область была признана «самым цифровым регионом», а Ростов-на-Дону получил звание «народной ИТ-столицы России».

— Какие проекты, связанные с аналитическими сервисами, реализуются? Что было сделано за последнее время?

Подход к управлению с помощью данных, конечно, требует реинжиниринга многих процессов, выполняемых в государственном секторе. К этому добавляются не менее важные вопросы: необходимость перестройки привычных подходов служащих к работе (вплоть до отказа от определенных практик), изменение культуры самой работы, модернизация оборудования, повышение цифровой грамотности и многое другое. В совокупности все это накладывает определенные временные рамки на внедрение проектов и сервисов, связанных с аналитикой.

Вместе с тем в регионе уже внедрены интересные практики, которыми хотелось бы поделиться. Например, это задача анализа профиля малоимущих граждан, которую команда правительства региона поставила перед собой в 2019 году. В 2020 году решение по этой теме заняло первое место в конкурсе внедрения цифровых решений Datamasters, проводимого Агентством стратегических инициатив.

Или, например, созданная у нас платформа для поддержки социально ориентированных некоммерческих организаций «Живые НКО» ресурсного центра «Атлас НКО». Платформа на основе алгоритмов нейросети, используя открытые данные, дает рекомендательную оценку работы социально ориентированных НКО. Такая оценка может во многом облегчить работу отдельных фондов и органов исполнительной власти и исключить ситуации финансирования неблагонадежных организаций. Проект стал победителем международного конкурса АСИ World AI & Data Challenge и заинтересовал другие регионы. Внедрения ждут, например, Республика Коми, Свердловская, Иркутская и Новосибирская области.

— Как строились процессы по борьбе с бедностью раньше? На основе каких данных принимались решения?

В Министерстве труда и социального развития Ростовской области на основе информации из разных источников был сформирован реестр малоимущих граждан. У сотрудников министерства родилась идея внедрить в работу современный подход, основанный на управлении данными, чтобы выявить всех нуждающихся в помощи граждан. Внедренное решение позволило выстроить «тепловые карты» на основе обезличенных данных телеком-операторов, и это помогло расширить направления использования социального контракта, благодаря чему заметно увеличилось число семей, которые улучшили свое материальное положение.

Подчеркну, что данные для работы были предоставлены именно в обезличенном формате, без персональных данных, от телеком-операторов при непосредственной поддержке Центра цифрового развития АСИ. Дополнительно использовалась релевантная информация из ведомственной информационной системы.

— Что не устраивало в сложившейся ситуации?

Уверен, что сегодня государство должно выступать проактивно, не дожидаясь обращения граждан. Необходимо приходить к нуждающимся с предложением поддержки и помощи, особенно к тем, кто живет в населенных пунктах, отдаленных от регионального центра. Созданное решение позволило выявить территории, где инструмент социального контракта можно использовать особенно эффективно. С помощью полученных данных были построены маршруты выездных приемов органов социальной защиты.

По результатам аналитики данные передаются и в управление службы занятости, чтобы скорректировать выделяемые муниципальным образованиям денежные средства на организацию профессиональной переподготовки соискателей вакансий. Или, например, эти же данные использует министерство здравоохранения области для выделения квот на оказание высокотехнологичной медицинской помощи.

— Какова цель реализованного проекта по борьбе с бедностью?

У этой инициативы прозрачная цель — подсветить на «тепловых картах» нуждающихся в поддержке граждан. На основе полученных данных можно принять взвешенное управленческое решение. Основной эффект — это более 10 тыс. семей, вышедших из-за черты бедности в особенно непростой 2020 год. Такой результат был достигнут именно благодаря цифровому решению по анализу профиля бедности. Оценить эффект на начальном этапе не представлялось возможным, однако каждая семья, получившая поддержку, — очень важный «кирпичик» в фундаменте работы по социальной защите в регионе.

Важно, что решение непосредственно помогает решить задачу по снижению уровня бедности в два раза до 2024 года, определенную президентом России в рамках национальной цели «Сохранение населения, здоровье и благополучие людей». Кроме того, руководство Министерства труда и социальной защиты РФ уделяет особое внимание социальным контрактам. Именно этот вид помощи от государства предполагает активные и продуманные действия получателей — то есть желание самой семьи выйти из-за черты бедности. В этом смысле реализованное решение синхронизировано с федеральной повесткой.

— Почему для эффективного использования социальных контрактов важен анализ данных о малоимущих?

Количество получателей помощи с использованием соцконтракта каждый год растет. Увеличивается и количество желающих заключить соцконтракт. Финансирование на 2020 год повышено в два раза на основе расчета реальной потребности граждан. Нуждающиеся видят не только необходимость этой меры, но и желают брать на себя обязательства, предлагают возможности расширения направлений соцконтрактов.

Данный вид помощи подразумевает не только получение денег, но и ответственность за выполнение взятых семьей обязательств. Примерами таких обязательств можно назвать выполнение какой-либо оплачиваемой работы или получение дополнительного образования, ответственное социальное поведение. И очень важно выявить всех, кто хотел бы и мог воспользоваться данным инструментом. Поэтому анализ всех возможных данных для повышения эффективности этой работы очень важен, как важен и каждый гражданин.

— Какие варианты решения проблемы рассматривались? Вероятно, помимо участия в World AI&Data Challenge в качестве постановщика задачи, были и другие варианты…

Конкурс действительно состоял из нескольких этапов, первым из которых было соревнование по постановке задач, в котором победила наша инициатива. Затем уже команды со всей России вместе с заказчиком пробовали реализовать идею, и команда Счетной палаты города Москвы предложила самое интересное решение. Оно построено на открытом исходном коде, поэтому, по сути, при внедрении данного продукта не требуется проводить никаких закупок. Решение предоставляет возможность подключаться к локальным или облачным базам данных и обеспечивает инструменты по их анализу и визуализации. На третьем этапе конкурса внедрений наша общая команда смогла занять первое место в России.

Конечно, в отсутствие возможности участия в конкурсе АСИ, вполне могло быть найдено и иное решение ситуации. Однако, в связи с известными ограничениями по финансированию таких инициатив внутри госструктур, а также из-за необходимости выдерживать установленные регламенты, лучшего подхода для достижения результата было бы и не придумать. Отмечу, что сам проект по духу больше сопоставим с идеями из стартап-культуры, где допускаются множественные итерации, ошибки, спринты и тестирование гипотез.

— В чем заключалась самая большая проблема при внедрении решения?

Такие проекты требуют использования agile-подходов в их реализации, в связи с чем сталкиваются с рядом бюрократических барьеров при внедрении в среде государственных органов. Кроме того, в задачах, связанных с управлением на основе данных, многое зависит от количества, качества и актуальности верифицированной информации в датасете. В связи с этим один из базовых вопросов — возможность постоянного пополнения данных и количество источников такой информации.

— Как известно, критически важно адекватно встроить умные сервисы в процессы принятия решений. Как пришлось перестроить процессы органов социальной защиты, что изменилось?

С этой точки зрения процесс внедрения в работу ответственных структур был максимально бесшовным, так как по сути улучшался используемый инструмент — реестр малоимущих граждан в регионе.

— Есть ли возможность развития созданной платформы? Например, при появлении новых источников данных или новых направлений деятельности?

Конечно, в идеальной картине мира необходимо больше источников информации и требуется гармонизация имеющихся у государства баз данных. Для получения всестороннего портрета семьи, например, необходимо получать сведения от многочисленных государственных органов: Пенсионного фонда, Федеральной налоговой службы, служб занятости, органов управления в сфере образования, медицины. Тогда диаграмма доходов-расходов семьи будет более достоверной и мы точно сможем учесть каждого нуждающегося в поддержке и в проактивном формате предложить ему помощь. Для нас важен каждый.