Управление данными

В 2020-2022 годах Счетная палата Российской Федерации реализовала важный стратегический проект — комплексную программу подготовки специалистов (КППС) по управлению данными для высшего органа внешнего государственного аудита. Сотрудники Счетной палаты прошли обучение современным техническим инструментам дата-аналитики и получили практический опыт их использования. Программа позволила значительно повысить производительность труда инспекторов и выйти на новый качественный уровень представления результатов аудиторской работы. Для реальных задач Счетной палаты сотрудники ведомства за три года разработали более 130 решений, основанных на аналитике данных. О том, как удалось этого добиться, рассказал Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации и номинант на премию Data Award 2023.

— В чем заключались проблемы, какие задачи требовалось решить с помощью программы подготовки?

Проблемы типичны для многих госструктур: отсутствие опыта аналитической работы у имеющихся сотрудников, низкий уровень технологической подготовки, в том числе работы с инструментами аналитики, понимания управления данными и т.п. В то же время наша новая система компетенций требует всего этого, а на рынке отсутствуют программы обучения, нацеленные на подготовку необходимого уровня специалистов. Кроме того, нам нужна не теория, а практика — именно на реальных примерах из жизни специалисты такого рода как наши учатся лучше всего.

— Как появилась эта программа, какова история ее создания?

Программа была разработана и реализована нами в 2020-2022 годах, а ее целью является обеспечение реализации стратегии развития Счетной палаты в 2018-2024 годах. В частности, наша стратегия предусматривает не только цифровую трансформацию процессов операционной деятельности, но и развитие собственных аналитических компетенций и инструментария, основанных на современных подходах к моделированию, развитие дистанционных методов аудита, а также аналитических разработок и прикладных методов для обеспечения функции государственного аудита. Фактически КППС стала одним из важнейших инструментов решения задач стратегии. Ее предназначение – обеспечить наших сотрудников техническими знаниями и навыками, которые необходимы им для совершенствования государственного аудита, с акцентом на самостоятельную подготовку и обработку больших объемов информации и данных.

Утвержденная в 2021 году Модель компетенций описывает требования к знаниям и умениям применительно к ролям в процессах Счетной палаты. Ее особенностью и приоритетом стали специальные профессиональные компетенции, свойственные определенным профессиональным ролям, и универсальные цифровые компетенции, которые могут распространяться на всех сотрудников Счетной палаты.

С учетом специфики работы с аналитическими инструментами, а также процессами внедряемой системы управления данными, нами было выделено несколько ключевых ролей сотрудников: инспектор-«дата-стюард», инспектор-«дата-аналитик», дата-инженер и инспектор, обладающий универсальными цифровыми компетенциями. Для каждой из этих ролей в модель компетенций были включены соответствующие профили по трем уровням: начальный, средний, продвинутый. И конечно, сотрудников нужно обучать в соответствии с ними.

— Приведите пример таких профилей.

Например, рассмотрим роль дата-стюарда. На базовом уровне он должен понимать простые структуры и типы данных, обладать теоретическими знаниями о возможностях использования инструментов и принципах функционирования системы управления данными Счетной палаты, уметь работать с ГИС и иметь представление о базовых принципах управления данными. На высоком уровне всё гораздо серьезнее. Такой сотрудник обладает базовыми знаниями SQL, умеет работать с СУБД PostgreSQL, обладает навыками работы в PolyAnalyst, умеет разрабатывать правила надежности и качества данных. Он способен сформулировать рекомендации по составу и порядку формирования данных при создании и модернизации ГИС, умеет формировать задание на загрузку данных дата-инженеру из любого источника данных, имеет углубленные знания в области работы с данными, подтвержденные дипломами.

— Каковы вообще потребности Счетной палаты в экспертах по управлению данными и работе с ними? Должен ли в итоге каждый инспектор стать кем-то из дата-специалистов?

Конечно же, далеко не каждый инспектор должен стать продвинутым специалистом по управлению данными. На один профильный аудиторский департамент, которых у нас 15, из 40-50 человек вполне хватит двух-трех дата-стюардов – специалистов, отвечающих за предметное изучение данных и постановку задач на их «интеграцию»: определение и описание необходимых источников, дата-сетов и т.п. Остальные же инспекторы вполне могут обладать только базовым пониманием того, как устроены базы данных и информационные системы на уровне квалифицированных пользователей.

— Почему пришлось создавать собственную программу обучения?

Каждый из разработанных профилей ролей требовал подбора адекватных программ обучения. Выяснилось, что на образовательном рынке отсутствовали, да и до сих пор отсутствуют предложения по подготовке специалистов по работе с данными, набор компетенций которых соответствовал бы нашим специфическим требованиям. А «затачивать» под нас программу обучения никто из поставщиков не был готов.

Поэтому было принято решение разработать и реализовать КППС – собственную комплексную программу по подготовке специалистов по управлению данными для высшего органа внешнего государственного аудита. Ее преподавателями стали как сотрудники нашего Департамента цифровой трансформации, так и подведомственного Центра экспертно-аналитических и информационных технологий Счетной палаты Российской Федерации (ФКУ «ЦЭАИТ СП»).

— Какие направления охвачены программой?

Программа включает три постоянно действующих курса обучения для разных аудиторий. Это курс для инспекторов-«дата-аналитиков» — «Практика цифровой трансформации», курс для инспекторов-«дата-стюардов» — «Образовательный трек по работе с данными», и курс для инспекторов – «Работа с аналитическим инструментом PolyAnalyst». Занятия по каждому из курсов проводились дважды в неделю и представляли собой как традиционные лекции, так и практические работы на основе актуальных кейсов из практики инспекторов Счетной палаты. Практическому применению полученных знаний уделялось повышенное внимание: на решение кейсов по внешнему государственному аудиту в программах курсов отводилось до половины учебного времени.

По итогам обучения мы получили еще и набор электронных материалов, по которым новые сотрудники смогут самостоятельно пройти подготовку в полном объеме. Записи лекций и материалы для самостоятельного изучения выкладываются в нашей системе управления развитием персонала и системе управления знаниями.

— Расскажите немного про каждый из курсов. Например, что изучают дата-аналитики?

На этом курсе инспекторы, ориентированные на мероприятия по стратегическому и комплексному аудиту, осваивают методы и инструменты аудита, основанного на больших данных. Курс был разделен на несколько уровней (начальный, средний, продвинутый и расширенный) исходя из решаемых задач, сложности обрабатываемых данных и применяемых инструментов.

На начальном уровне инспекторы изучали возможности BI применительно к структурированным данным – агрегирование и визуализация первичных данных из государственных информационных систем. В результате они научились строить и использовать в отчетах несложную инфографику: дашборды, графики, диаграммы и т.п. На среднем уровне уже охватываются методы обработки текстовых данных из первичных документов – извлечение с помощью лингвистических правил и словарей сущностей и концептов из договоров, платежных поручений, актов, протоколов, доверенностей и др.

На продвинутом уровне сотрудники познакомились с программной библиотекой pandas на языке Python, которую называют «Excel XXI века». По итогу этих уровней слушатели умеют проводить несложную текстовую аналитику по большим массивам документов. На расширенном уровне осваиваются новейшие методы искусственного интеллекта – модели-трансформеры и трансферное обучение в обработке естественного языка.

По итогам обучения на всех уровнях инспекторы готовили индивидуальные и групповые учебные проекты, непосредственно связанные с их рабочими задачами. Результаты многих проектов вошли в отчеты Счетной палаты о проведенных контрольных и экспертно-аналитических мероприятиях. Например, группой из трех инспекторов была обучена нейронная сеть-трансформер на нормативно-правовых актах и применена в ходе антикоррупционной экспертизы планов федеральных органов исполнительной власти. Новый подход существенно снизил сроки проведения экспертно-аналитического мероприятия – с 90 до трех дней.

— Если говорить о следующем курсе, то роль дата-стюардов пока еще является экзотикой.

Действительно, внедрение роли дата-стюардов в деятельность Счетной палаты стало уникальным опытом в организации работы с данными в деятельности государственных органов аудита, да и остальных государственных органов. Наши дата-стюарды – сотрудники направлений аудита, ответственные за поиск, сбор, обработку и использование данных. Они определяют источники получения данных и необходимость доступа к ним, необходимые виды данных, содержащиеся в источниках данных. Они же формируют в системе управления данными паспорта объектов данных, карты данных и требования к загрузке исходных данных, требования к витринам данных, определяют периодичность сбора, загрузки и обработки обновлений исходных данных.

Образовательный трек для дата-стюардов разработан на период 2021-2022 годы в соответствии с профилем роли. Курс разделен на триместры, занятия проходят еженедельно. Его особенность – последовательное погружение инспекторов в разные области знаний, связанных с управлением данными.

Дата-стюарды овладели знаниями по поиску, сбору, систематизации данных из различных источников, научились поддерживать наборы данных в актуальном состоянии. Спецификой курса является также система получения практических навыков: выполняя домашние задания в рамках курса, дата-стюарды постепенно наполняют наше озеро данных «живыми» кросс-функциональными наборами данных, а систему управления данными – описанием востребованных в проверках источников данных и наборов данных.

— Вероятно, третий курс – «Работа с аналитическим инструментом PolyAnalyst» – самый «легкий» с точки зрения длительности обучения.

Потребность в таком курсе возникла в связи с высокой загрузкой инспекторского состава, а также сложностью с привлечением на работу в госорган дорогостоящих технических специалистов и дата-сайентистов. Сотрудники, задействованные в проверках, не располагают временем на продолжительную учебу и программирование, да и набор аналитических задач для таких проверок – в целом типичный. Требуются инструменты, позволяющие решать текущие задачи по обработке больших наборов данных «здесь и сейчас». Поэтому нами была выбрана стратегия использования low-code/no-code инструментария, позволяющего решать большинство аналитических задач без программирования, тем самым снижая «порог входа» в аналитику данных для обычных сотрудников, не имеющих специализированной технической подготовки. Некоторые инструменты осваиваются инспекторами самостоятельно по специально разработанным руководствам по работе с ними. Но для наиболее сложного из таких инструментов – аналитической платформы PolyAnalyst – был разработан специальный курс.

Эта платформа принята у нас в качестве базового универсального инструмента для анализа всех видов данных и визуализации результатов работы с данными, поэтому навыки работы с ней необходимы и инспекторам из направлений аудита, и дата-стюардам, и другим сотрудникам. В рамках программы подготовки был разработан специальный курс обучения PolyAnalyst для всех заинтересованных специалистов, включающий три уровня: начальный, средний и продвинутый. Он позволяет приобрести такие навыки, как импорт данных и операции с данными, основы анализа и классификации данных, регрессионный анализ и кластеризация, основы обработки текстовых данных. Кроме того, изучается язык поисковых запросов Pattern Definition Language (PDL), классификация и кластеризация текстов, таксономия, а также язык, предназначенный для описания определений и реализаций процессов eXtended Pattern Definition Language (xPDL).

Так, выпускники начального уровня приобретали навыки по объединению в PolyAnalyst данных из нескольких источников, агрегированию и визуализации данных. На среднем уровне слушатели осваивали более сложную аналитику, — в частности, статистический и текстовый анализ. На продвинутом уровне сотрудники Счетной палаты получили профессиональную специализацию «лингвист-аналитик», изучив углубленные и сложные правила xPDL и PDL для обработки аудиторских документов.

— С какими источниками данных и инструментами (кроме PolyAnalyst) приходится иметь дело специалистам Счетной палаты?

Источников данных очень много. Исходя из специфики нашей работы, главным образом, это различные ГИС – системы в сфере управления общественными финансами, системы типовой деятельности федеральных органов исполнительной власти, системы документарной деятельности, системы в сфере управления материальными и нематериальными активами.

Помимо платформы PolyAnalyst, используем инструменты BI и data science из числа свободного программного обеспечения – Metabase, Python и дополнительные библиотеки по работе с данными, RStudio, JupyterLab, LabelStudio, streamlit, а также инструменты анализа баз данных pgAdmin, DBeaver, Arenadata DB, Arenadata Hadoop.

— Как и по каким критериям осуществляется отбор инспекторов для обучения? Как мотивируете повышать квалификацию?

Мы не ставим барьеров. На «начальный» уровень подготовки может прийти любой желающий. На следующие уровни также могут приходить все желающие, но там уже чисто объективно не все могут с ними справиться. Условно можно сказать, что происходит «естественный отбор» –например, на самом высоком четвертом уровне необходимы знания математики, достаточные для понимания того, как работают нейронные сети, а это не каждому под силу. Но, как я говорил раньше, далеко не всем инспекторам необходим максимальный уровень, – наверное, таких лишь 5% от всей численности.

Специальной мотивации для повышения квалификации нет: как показывает практика, этого и не нужно. Сотрудники и сами прекрасно понимают, что данное обучение повышает их ценность как специалиста, дает уверенность в будущем, что в наше время очень важно. Ну а того, кто этого не понимает, мотивировать бесполезно и бессмысленно.

— Скольких специалистов удалось подготовить?

Курс «Практика цифровой трансформации» прошли 370 специалистов, это 65% сотрудников аудита. 85 из них обучены по расширенному курсу. Систему PolyAnalyst изучили 210 сотрудников. В рамках образовательного трека для дата-стюардов обучено 60 дата-стюардов и 10 инспекторов.

— Какие достигнуты результаты? Что из этого вы считаете наиболее важным?

По итогам реализации КППС в Счетной палате в четыре раза выросло количество аналитических решений с использованием новых методов и инструментов анализа данных. Если в 2020 году их было 16, а в 2021 году – 31, то в 2022 году их число достигло 80. Кроме того, значительно увеличилась – до 70% – доля самостоятельных решений, созданных инспекторами аудиторских направлений без менторской поддержки Департамента цифровой трансформации. При этом по 11 цифровым решениям достигнута их повторяемость и масштабируемость в различных бюджетных циклах и аудиторских направлениях. Появились и первые решения с использованием методов искусственного интеллекта.

Например, в ходе проверки выплат адвокатам по назначению инспектор разработал лингвистическое правило, позволившее извлечь информацию из поля «Назначение платежа» в платежном поручении. После обработки почти 1 млн платежных поручений были обнаружены транши 424 адвокатам с признаками нарушений на общую сумму 20,7 млн руб. Увеличилось количество объектов контроля в 10 раз, а сам процесс анализа первичных документов по выплатам адвокатам сократился по времени в 7 раз.

В 2021 году Счетная палата выиграла конкурс на проведение внешнего аудита Организации Объединенных Наций по промышленному развитию (ЮНИДО). В ходе этой проверки слушатели программы обучения применили свои знания на практике, проведя анализ Journal Entry Testing для выявления мошенничества с финансовой отчетностью. С его помощью удалось отобрать аномальные бухгалтерские транзакции в зоне повышенного аудиторского риска.

Образовательный контент, созданный и апробированный в ходе реализации КППС, начал использоваться в международных образовательных программах – в Университете высших органов аудита при сообществе ИНТОСАИ.

Важно, что для подготовки аналитических решений инспекторы и дата-стюарды самостоятельно находят в Системе управления данными и описывают нужные для работы данные, формируют структуры кросс-функциональных витрин данных и ставят задачи на их загрузку данных в озеро данных.

— Какие наиболее масштабные цифровые решения удалось построить?

В общей сложности нашим сотрудникам удалось реализовать более 120 кейсов по анализу данных.

Ярким проектом стал автоматизированный анализ статистической отчетности ФНС России. В его рамках сотрудниками департамента аудита доходов организовано автоматическое извлечение показателей статистической отчетности ФНС и построение временного ряда за пять лет. Более 2 тыс. показателей сведены в единую аналитическую таблицу, в том числе при помощи лингвистического анализа. Это позволило примерно в 10 раз снизить трудозатраты на проведение анализа статистической отчетности ФНС.

Еще один пример – мониторинг федерального недвижимого имущества. Новые знания и умения позволили сотрудникам реализовать геопространственную и визуальную аналитику объектов федерального недвижимого имущества, арендованного и сданного в аренду, по уровню арендной ставки. В результате, в частности, были выявлены существенные аномалии в распределении уровня арендной ставки.

Наконец, стоит отметить разработку цифрового решения «Государственный долг субъектов Российской Федерации». Используя навыки работы с PolyAnalyst, сотрудники департамента аудита финансовых рынков и государственного долга создали интерактивный инструмент мониторинга и анализа данных о госдолге регионов. Он включает в себя виджеты с табличным и графическим представлением аналитической информации об объеме, структуре и динамике совокупного государственного долга субъектов РФ и муниципальных образований, об объеме и структуре долговых обязательств регионов.

— В чем роль запущенного образовательного проекта для Счетной палаты?

Для нас было крайне важно внедрить практику непрерывного обучения и профессионального развития сотрудников в соответствии с принятыми моделями и профилями компетенций. Этот результат является основой для системной реализации ключевых направлений развития Счетной палаты и достижения стратегической цели по повышению качества государственного управления.

Еще раз подчеркну, что введение роли дата-стюардов, а также формирование модели компетенций и программ обучения инспекторов и дата-стюардов является уникальным опытом в организации работы с данными в деятельности не только государственных органов аудита, но и остальных государственных органов в России.

Наличие у сотрудников Счетной палаты знаний и умений, приобретенных в ходе реализации КППС, позволило значительно повысить производительность и качество их труда. Повысились компетенции инспекторов аудиторских направлений по сбору и анализу данных, по оценке государственных программ и политик, развитию доказательных методов аудита. Расширилось применение новейших методов и инструментов анализа данных, что улучшило качество и актуальность рекомендаций по результатам аудита, минимизировало время сбора аудиторских доказательств, довело на некоторых мероприятиях количество проверяемых объектов до 100%.

— Пытаетесь ли оценить финансовую эффективность работы программ обучения?

Конечно. В нашем случае напрямую в деньгах эффект оценить вряд ли получится, но о том, что подготовленные инспекторы экономят огромное количество времени за счет применения нового аналитического инструментария, говорить можно — и речь идет о тысячах человеко-часов за год. Эффект заключается также, например, в том, что вместо десятков документов или транзакций сотрудник может анализировать тысячи и десятки тысяч, или находить какие-то закономерности, аномалии, которые невооруженным взглядом выявить невозможно. Также инспектор может вывести результаты в виде наглядной инфографики, необходимой для подготовки качественных выводов по итогам работы. То есть можно говорить о принципиально другом качестве результата, который сложно оценить в деньгах.

— Есть ли планы развития программы – например, охват каких-то других направлений подготовки?

Реализация основных запланированных этапов программы завершается, дальше мы будем говорить о ее «тюнинге» — большей ориентации на следующих этапах на решение каких-то частных вопросов применения инструментов и технологий, возникающих уже по итогам практического применения уже освоенного материала.

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

Опытом преодоления кризиса поделились представители ряда компаний: «М.Видео-Эльдорадо», «Лента», «Интер РАО-Онлайн», «Тинькофф» и «К-Скай». (Еще одной актуальной теме — самообслуживанию — посвящен отдельный материал, см. статью «'Управление данными — 2022': На прямой связи с данными»).

Перестройка трансформации

Кризис застал «М.Видео-Эльдорадо» в разгар погружения в цифровую трансформацию. В компании шел процесс ликвидации границ между бизнесом и ИТ. Все бизнес-подразделения имели собственные бюджеты на разработку. Директора по продуктам и технические директора решали задачи в каждом бизнес-домене, а разработчики создавали инструменты, чтобы автоматизировать именно бизнес-процессы подразделения. Дата-офис поддерживал своими компетенциями разработку продуктов бизнесом и развивал платформу данных, методологию Data Governance и инструментарий машинного обучения. При этом cтруктура дата-офиса была очень прозрачной с точки зрения бюджетирования — было легко оценить стоимость каждого продукта, рассказал Данила Наумов, директор офиса больших данных «М.Видео-Эльдорадо».

Данила Наумов: «Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции»

Новая реальность привела к резкому сокращению бюджетов, и недостатки дорогой матричной структуры продакт-менеджмента стали критичными. Стало не хватать специалистов для создания полноценного конвейера данных по каждому продукту в каждом домене: было трудно полностью закрыть весь список задач.

Поэтому уже летом десять бизнес-доменов свернули в три, что позволило выстроить внутри каждого из них отдельные конвейеры данных. Помимо них, существовал и централизованный — он мог принимать задачи подразделений, не имеющих собственного конвейера.

Были предприняты и другие важные стратегические шаги.

«Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции так, чтобы у команд были средства на решение задач как сервисов», — рассказал Наумов. Распределенный бюджет стали использовать по сервисной модели: кто угодно может попросить решить его задачу, но сделано это будет в рамках общих приоритетов. Установление очередности происходит в соответствии со стратегией бизнес-домена, что очень понравилось бизнесу. От момента введения задачи в систему до внедрения результата сейчас проходит 15 рабочих дней, и, по словам Наумова, это довольно хороший для отрасли показатель.

Таким образом реализуется урезанный вариант цифровой трансформации: в нынешних условиях она стала чересчур дорогой.

Благодаря и вопреки

В компании «Интер РАО-Онлайн» большинство проектов по управлению данными реализовано «благодаря и вопреки»: благодаря поддержке очень высокого уровня руководства и вопреки всей бюрократической машине. «Роль CDO, в которой я живу, — это роль лифта в космос, — объяснил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». — Одни читают DAMA DMBOK2, другие стоят «у сохи», и надо подружить эти две половины мира, чтобы что-то двигалось вперед». Для этой цели в компании создали службу заказчика, построенную по методологии Agile и стоящую особняком от ИТ- и бизнес-отделов.

Владимир Анисимов: «Роль CDO, в которой я живу, — это роль лифта в космос»

Еще один лайфхак энергетической компании — не бояться использовать обходные приемы решения ИТ-проблем. ««Костылизация» — часть нашей жизни, такой подход позволяет бежать быстрее, — констатировал Анисимов. — Большинство наших пилотных проектов, а затем и продуктов стоят на «костылях», которые мы вытаскиваем на протяжении 3–5 лет, и эти «костыли» достойно себя ведут».

Любимый «костыль» Анисимова — программные роботы. «Я предпочитаю ставить роботов там, где нет и не будет в ближайшее время интеграции по API, — отметил он. — Такой 'костыль' отлично выполняет свою задачу, на нем можно шагать долго и уверенно».

Гордость Анисимова — система автоматизированного взыскания дебиторской задолженности, интегрированная с набором внутренних сервисов компании и содержащая алгоритмы машинного обучения. Она строилась на зарубежных продуктах и сейчас мигрирует на отечественные решения — в частности, на low-code-платформу Loginom. Хранилище данных уже «съехало» с Oracle. Теперь и аналитику, которую до сих пор развивали на Oracle Analytic Server, переведут на open source и отечественные продукты. «Переход идет тяжело, — признался Анисимов, — так как ни одного BI-решения с полноценным самообслуживанием на внутреннем рынке пока не нашли».

Работа на результат

Что делать, чтобы работа дата-команд приносила пользу организации? Руководитель Data Science компании «Лента» Ирина Голощапова заострила внимание на бизнес-аспектах вывода моделей в продуктивную эксплуатацию. Это целая история по управлению изменениями, считает она. Недостаточно построить модель, способную повысить эффективность бизнеса. Нужно сделать так, чтобы люди эту модель использовали, включив ее в бизнес-процесс. «А для этого важно думать об интерпретируемости решения для конечного пользователя, — подчеркнула Голощапова. — Чтобы доверять результатам работы модели, он должен понимать, как она к нему пришла, как может меняться ее поведение в реальных условиях, как полученный результат можно использовать и почему». Для внедрения продвинутой аналитики в «Ленте» реализуют фреймворк Reliable ML, который позволяет учитывать как технические особенности машинного обучения, так и процессы работы дата-офиса и его взаимодействия с бизнесом для достижения максимального финансового эффекта.

По мнению Анисимова, оценить эффект удачного внедрения дата-проектов невозможно: все понимают, что «штука классная», но никто не может посчитать результат в рублях. Как только появляется первый прототип, рабочие процессы меняются настолько сильно, что сравнивать текущий и прошлогодний периоды просто бессмысленно. «Когда в момент внедрения менялись бизнес-процессы, мы, как служба квалифицированного заказчика, подменяли собой бизнес-подразделения: они слишком заняты операционной деятельностью, и объяснить им, что не надо таскать круглое и катать квадратное, невозможно. Старайтесь договариваться о качественной оценке эффектов», — посоветовал Анисимов.

Детективная история

Как в колоссальных объемах доступной для анализа информации найти именно то, что нужно для ответа на текущий вопрос? Огромное количество рабочих пространств, содержащих небольшие разрозненные кусочки контекста, бесконтрольно ведущаяся документация, качество которой остается на совести ее составителя, — вот проблемы, которые знакомы многим крупным организациям. Проведенные пару лет назад опросы сотрудников «Тинькофф» показали, что хранилище в текущем виде «непознаваемо для пользователей», а поиск метаданных — «искусство, которому нельзя научить».

«У вас могут быть отличные метаданные, но если у пользователя нет инструмента для доступа к ним, то, к сожалению, они бесполезны», — заметил Дмитрий Пичугин, руководитель группы управления данными «Тинькофф».

По примеру таких авторитетов, как Google, Linkedin и Uber, в «Тинькофф» решили бороться с неполнотой документации и разрозненностью информации с помощью каталога данных, который должен стать «единой точкой правды» для всей экосистемы данных и удобным инструментом поиска нужных сведений, но главное — средством анализа зависимостей при движении данных от источника к точкам их применения и обработки, что крайне необходимо для отслеживания происхождения ошибок.

Экосистема ИТ-решений «Тинькофф», по большей части самописных, — очень сложная, поэтому к гибкости модели метаданных предъявляются довольно высокие требования и обязательной опцией при выборе каталога должен быть Data Lineage. «У нас бывает анализ зависимостей на тысячу нод, а иногда и больше, — поделился Пичугин. — Если не дать аналитикам удобный инструмент, то, скорее всего, через некоторое время они уволятся, не выдержав этой пытки». Так как ни одно из представленных на рынке решений всем критериям компании не удовлетворяло, пришлось строить каталог самим. В его основу положили идею комфорта пользователей: искать данные не должно быть сложнее, чем товары в интернет-магазине.

Так появился Data Detective — каталог для неквалифицированных пользователей, способный, как утверждают его создатели, вписаться в любой ИТ-ландшафт. Несмотря на то, что ранее запущенные решения никуда не делись, 85% пользователей сегодня предпочитают новый каталог, и более половины из них — бизнес-пользователи. В дальнейшем в «Тинькофф» намерены распространять Data Detective за пределами компании. Помимо «полировки» интерфейса, в ближайшие планы разработчиков входит внедрение инструментов для удобного отображения бизнес-глоссария любой структуры.

Медицинские данные, заслуживающие доверия

Использование электронных медицинских карт (ЭМК) в качестве источника данных для анализа сопряжено с такими объективными сложностями, как отсутствие единых форматов хранения записей и использование неструктурированного текста. Но и это еще не все. Половина ЭМК (51%) вообще не содержат медицинских данных — это просто записи в базе с ФИО и датами рождения пациентов. А оставшиеся 49% зачастую содержат фрагментарные сведения, ценность которых для анализа сомнительна. Кроме того, длительность наблюдения пациентов в большинстве ЭМК не превышает трех лет, то есть вероятность наличия в них ценных для прогностического искусственного интеллекта находок очень низка.

Александр Гусев: «Мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать»

Кроме того, есть и важный субъективный фактор, который серьезно тормозит развитие интеллектуальных продуктов в медицине, — отсутствие доверия к сделанным искусственным интеллектом выводам, обусловленное недоверием к качеству данных, на основе которых делаются эти выводы. «90% времени наших исследований связано с данными. Именно работа с данными определяет провал или успех», — считает Александр Гусев, сооснователь компании «К-Скай», которая занимается предиктивной медицинской аналитикой на основе технологий искусственного интеллекта. Чтобы сломать лед недоверия к выводам на основе анализа данных медкарт, в «К-Скай» разложили все накопленные данные по типам, видам и источникам и оценили с точки зрения рисков возникновения ошибок. Выяснилось, что есть существенный сегмент данных, где риск недостоверности составляет менее 1%, — это протоколы инструментальной и лабораторной диагностики, рецепты. Более половины всех данных ЭМК, включая заполненные по шаблону протоколы врачебного осмотра и автоматически сгенерированные выписные эпикризы, попали в зону умеренного риска с вероятностью возникновения ошибки 1–5%. И лишь 5% данных — заключительные диагнозы, карты выбывших из стационара, талоны амбулаторного приема — находятся в зоне высокого риска с вероятностью ошибки более 5%. Таким образом, руководители, принимающие решения об использовании врачами систем-помощников, стали четко понимать, каким данным можно доверять, а какие ставить под сомнение.

Затем в «К-Скай» стали изучать причины возникновения аномалий в сырых данных, паттерны поведения врачей и даже оценивать влияние качества интерфейса ЭМК на полноту данных. «В итоге мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать», — сообщил Гусев.

Самообслуживание в работе с данными становится мейнстримом: тему развития сервисов самообслуживания так или иначе затронули практически все представители бизнеса, выступившие на форуме «Управление данными — 2022», организованном издательством «Открытые системы». Даже функции обеспечения информационной безопасности в какой-то части делегируются сотрудникам бизнес-подразделений (см. врезку «Защита данных в документах: cам себе админ»). Представители компаний Tele2, «Уралхим» и «Газпром нефть» в своих выступлениях фокусировались главным образом на самообслуживании в области бизнес-аналитики.

Tele2: девять «пилотов» сразу

После ухода из России западных вендоров, на основе решений которых были построены бизнес-процессы Tele2, компания столкнулась с серьезными проблемами. Особенно болезненной оказалась ситуация с BI-системой Tableau: ее использовали многие разработчики, а кроме того, с ее помощью составлялось множество отчетов, пробуксовка в выдаче которых грозила замедлением процессов и потерей прибыли.

Чтобы спасти положение, команда экспертов провела анализ рынка и, изучив полтора десятка решений, запустила сразу девять пилотных проектов, подключив к корпоративному хранилищу девять BI-систем. Затем вместе с бизнес-пользователями отобрали 30 наиболее важных дашбордов и один из них (конкурсный) реализовали с помощью интегратора на всех девяти платформах. Получив отчеты и заполнив чек-листы, в компании оценили результаты, выбрали победителя и приступили к самостоятельному проведению миграции. Сейчас все критичные дашборды находятся в системе Fine BI, а разработку в бизнес-аналитике и по некоторым другим направлениям полностью ведут пользователи.

«Self-service — не хаос, им можно управлять. Без наших бизнес-разработчиков мы не смогли бы перейти на новую BI-платформу всего лишь за месяц, обеспечив собственными силами все потребности бизнеса в данных», — резюмировал Александр Снытко, руководитель службы поддержки и развития инструментов бизнес-аналитики Tele2. По его словам, активные и заинтересованные в корректном описании всех объектов данных бизнес-разработчики становятся адептами культуры data-driven. И убеждать их пользоваться новым инструментом не приходится, поскольку они сами его протестировали и выбрали.

Ударный год «Уралхима»

В «Уралхиме» и раньше продуктивно работали с данными: тут и искусственный интеллект, сортирующий заявки на первой линии поддержки и даже управляющий производственной установкой, и роботы, формирующие справки 2-НДФЛ. А в начале текущего года в компании запустили платформу, которая дает бизнесу возможность работать с данными самостоятельно. Доставка данных на базе гибридной инфраструктуры происходит для бизнеса бесшовно.

Владимир Вавра: «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям»

«Если мы хотим стать data-driven-компанией, а мы такую технологическую цель перед собой поставили, то дальше надо идти совместно с бизнесом, ведь бесконечно расширять штат айтишников — это безумие, — заявил Дмитрий Шведов, заместитель руководителя департамента цифровизации ОХК «Уралхим». — Мы сразу фокусировались на ключевых селф-сервисах, и BI — одно из ведущих направлений».

В компании запустили школу аналитиков данных с защитой проектов, выполненных на платформе, и бизнес с энтузиазмом воспринял эту инициативу. В школе проходят обучение 1200 сотрудников, и эффект внедрения культуры управления данными уже заметен, сообщил Шведов.

Требования бизнеса к инфраструктуре и сервисам работы с данными постоянно меняются, и подстраиваться под них приходится быстро. В этом году в дата-офисе сосредоточились на качестве данных и реализовали два десятка автоматизированных проверок качества по заданной бизнесом методологии. Сравнение затрат времени и ресурсов на выработку одних и тех же решений подтверждает эффективность оптимизации. «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям», — отметил Владимир Вавра, руководитель отдела инфраструктуры данных ОХК «Уралхим».

«Газпром нефть»: бонусы самостоятельности и мини-CDO

Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь, уверен Виталий Когтев, руководитель направления по качеству данных управления по организации работы с данными дирекции экономики и корпоративного планирования «Газпром нефти». В компании уже несколько лет работает школа аналитики, через которую прошли около 200 пользователей. Многие из них являются ответственными за данные и сами настраивают аналитические панели на основе шаблонов для решения своих актуальных задач. А теперь бизнес-пользователи получили инструменты для самостоятельного мониторинга качества данных.

Виталий Когтев: «Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь»

Незапланированным бонусом перехода на самообслуживание стала поддержка импортозамещения ПО: поскольку используются несколько инструментов мониторинга качества данных с последующей консолидацией метрик, внедрение нового ПО проходит достаточно плавно, отметил Когтев. Кроме того, самообслуживание в BI стимулировало каталогизацию данных — нудный процесс, которым бизнес обычно не особо хочет заниматься. Но теперь создание наглядных и понятных аналитических панелей стало соревновательным процессом, участники которого стараются максимально качественно описать необходимые элементы данных в каталоге. Не менее ценным стало и развитие новых навыков у сотрудников: аналитики с удовольствием обучились создавать аналитические приложения.

В лаборатории данных блока разведки и добычи «Газпром нефти» тоже совершенствуют self-service BI, улучшают магазин данных и каталог данных, а также укрепляют команду поддержки. Для управления данными в дочерних обществах, в «Газпром нефти» ввели функцию «мини-CDO». А «дочки» в компании немаленькие: например, в Заполярье трудятся около 1800 территориально распределенных сотрудников. «Если компания крупная, обязательно нужны люди на местах, которые выполняют роль CDO: внедряют продукт, общаются с бизнесом на его языке и готовы сразу интерполировать производственные задачи, предлагая подходящие для их решения дата-продукты», — отметил Александр Егоров, руководитель программ по управлению данными компании «Газпромнефть-Заполярье». Чтобы извлекать информацию и передавать ее до дашборда, лаборатория данных использует платформу Qlik Sense. Теперь, согласно дорожной карте импортозамещения, идет переход на Luхms BI. В части self-service BI здесь провели апробацию возможностей нового решения и передали разработчикам список замечаний и предложений для их возможной реализации в следующем году.

В Группе компаний «Газпром нефть» реализована полноценная платформа управления данными. Реализуемые инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. В результате появилась прозрачность данных, обеспечено единое их понимание, достигнут быстрый доступ к данным и доверие к ним со стороны бизнеса. О реализации проекта рассказала Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть».

— Когда была начата реализация комплексной программы по управлению данными в «Газпром нефти», каковы были предпосылки? На что рассчитывали?

В 2018 году в «Газпром нефти» были начаты глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях сформировалось полное осознание, что без данных цифровая трансформация не осуществима, и возник комплексный запрос на выстраивание процессов управления данными – обеспечение быстрого доступа к качественным данным для повышения эффективности процессов компании и качества принимаемых управленческих решений за счет использования данных и цифровых двойников. Реализация комплексной программы по управлению данными была начата в 2019 году.

— Что представляет собой программа?

Реализация комплексной программы по управлению данными включает формирование методологии, выстраивание процессов управления данными и встраивание их в регулярную деятельность подразделений, внедрение платформы управления данными на базе наиболее современных инструментов. Кроме того, в ее рамках формируются и развиваются как специализированные компетенции, так и компетенции бизнеса по работе с данными.

— В прошлом году вы принимали участие в CDO Award и стали лауреатом в номинации «За обеспечение качества данных». Что изменилось за этот год?

Самым важным стало дальнейшее вовлечение бизнес-пользователей в процесс «Управление качеством данных». В частности, за год использования методологии и инструментов проработано и зарегистрировано в каталоге данных 1343 бизнес-требования к качеству данных для 12 доменов данных (предметных областей), поставлено на мониторинг более 160 технических проверок качества данных, устранено более 120 тыс. инцидентов качества данных.

— Что стало самым сложным в реализации этого проекта?

Наиболее сложным является проведение культурных изменений, связанных c существенными изменениями в ключевых процессах по работе с данными.

— Что стало главным достижением? Чем можно гордиться?

Нами реализована полноценная платформа управления данными. В инструменте «Глоссарий» описано более 8 тыс. элементов данных, более 40 систем-источников данных интегрировано с каталогом данных. На портале управления данными (УпД) зарегистрировано более 1,4 тыс. уникальных пользователей, 71 тыс. просмотров разделов портала. Более 600 элементов данных имеют проверку качества данных с использованием инструментов качества данных, реализовано более 3 тыс. бизнес-правил, более 650 автоматизированных проверок качества данных. Более 147 тыс. ошибок исправлено по результатам мониторинга; в рамках развития процесса качества данных в 2021 году был создан модуль управления инцидентами и проблемами качества данных.

В системах НСИ размещено более 3,2 тыс. объектов (справочники, классификаторы, реестры, каталоги и др.), осуществлена интеграция более чем с 70 информационными системами при помощи около 1,2 тыс. сценариев интеграции. В рамках работы по направлению «Аналитика BI» (в том числе self-service) опубликовано 125 аналитических приложений, подключены данные из четырех корпоративных хранилищ, создано более 20 дата-сетов.

Более 36 тыс. уникальных пользователей (более 7,5 тыс. в мес.) реализуют работу с неструктурированными данными в корпоративном поиске, осуществляя более 1,6 тыс. поисковых запросов в день по 25,7 млн доступных в поиске документов.

Для повышения уровня компетенции нами проведено более 80 онлайн-обучений и 147 инфо-сессий, разработано два электронных курса на кафедре УпД Корпоративного университета «Газпром нефти», основам управления данными обучено более 800 сотрудников. Кроме того, разработаны три обучающих программы на базе «Школы аналитики», обучено более 60 сотрудников.

— А к чему еще можно стремиться?

В настоящее время мы заканчиваем опытно-промышленную эксплуатацию корпоративных панелей качества данных, представляющих собой единое окно для потребителей, в котором будут собраны метрики качества данных из всех корпоративных систем мониторинга. Работаем над внедрением корпоративного магазина данных и развитием дата-сервисов.

— Насколько заметным стал более простой доступ к данным? Как изменились процессы, как это отразилось на времени доступа?

Благодаря комплексной программе по управлению данными был подготовлен инструментарий, позволяющий управлять доступом к данным на основе метаданных. Доступ будет предоставляться на основе бизнес-роли сотрудника и тегов информационной безопасности, присвоенных данным. Существенная часть доступов будет предоставляться по умолчанию. В настоящий момент этот инструментарий уже подготовлен для проведения опытно-промышленной эксплуатации.

Также в программе проведен пилот по реализации логического хранилища данных, что позволит дополнительно повысить доступность данных, позволяя не только получить доступ, но и оперативно решать комплексные задачи, требующие задействования данных из различных источников.

— Какие результаты достигнуты?

Программой охвачено более 50 проектов и более 15 доменов данных, в рамках которых развиваются ключевые направления управления данными. Основные экономические и нематериальные эффекты программы основаны на переиспользовании данных, ускорении реализации цифровых продуктов, сокращении времени на анализ и поиск качественной информации, а также снижении трудозатрат как на этапе обследования систем-источников, так и при подготовке проектной документации. Отдельно можно выделить повышение качества управления, основанного на данных.

— В чем роль проекта для бизнеса компании?

Реализуемые нами инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. Повышается прозрачность данных за счет создания единого источника информации о данных (бизнес-глоссарий) и правил управления данными группы «Газпром нефть», обеспечивается единое понимание данных: терминологии, взаимосвязей между бизнес-терминами и источниками данных, методологии расчетов, достигается быстрый доступ к данным и повышение доверие к ним со стороны бизнеса. Важную роль также играет повышение аналитичности данных за счет внедрения инструментов self-service BI.

— В чем выражается доверие пользователей к данным? Как понять, что оно есть?

Доверие пользователей отражает степень их уверенности в том, что представляемые данные полностью соответствуют описанию (бизнес-описание, родословная, информация об актуальности и оценки качества данных) и обеспечены поддержкой, гарантирующей актуализацию этого описания в последующем. Это позволяет использовать данные с прогнозируемым результатом не только в моменте, но и реализовать процессы и функционал, работающие на постоянной основе в долгосрочной перспективе. Как результат, доверие пользователей выражается в готовности максимально оперативного применения данных без дополнительных мер по их проверке, без потерь времени на поиск и ожидание консультаций от экспертов отдельных бизнес-систем или предметных областей.

Таким образом, для тех команд аналитиков, разработчиков и архитекторов, которые участвуют в анализе исходных данных, проектировании и разработке, индикатором доверия к данным является интенсивность использования ими бизнес-глоссария, каталога данных, мониторов качества данных с одной стороны и сокращение времени разработки продуктов как результат отсутствия затрат времени на перепроверку данных перед их применением.

Что касается менеджмента компании, то в этом случае индикатором доверия к данным является отказ от предварительной перепроверки информации, представленных в отчетах и дашбордах. Это приводит к сокращению времени на принятие решений.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, как их число изменилось за последнее время? Есть ли показатель, к которому стремитесь?

У пользователей велик интерес к инструменту самостоятельной аналитики, и наблюдается готовность переходить со стандартной и привычной аналитической отчетности к гибким механизмам самостоятельного анализа данных. Распространение self-service BI находится в самой активной фазе, и за прошлый год количество пользователей увеличилось в два раза. В этом году планируется дальнейшее развитие и еще более высокий рост, так как помимо развития самого инструмента, уже на год вперед расписан план обучения сотрудников в «Школе аналитики».

В рамках развития self-service BI также прорабатывается вопрос с импортозамещением, в прошлом году был осуществлен выбор платформы и проведена апробация. В этом году стартуют активности по переводу функционала self-service BI на новую импортонезависимую платформу и обучению сотрудников.

— В каком направлении планируете развиваться?

Мы будем продолжать развивать свою функцию по всем ключевым направлениям – методология, инструменты, компетенции – для обеспечения максимального эффекта от внедрения процессов управления данными и достижения компанией статуса data-driven согласно международной методологии DCAM.

Управление на основе данных постепенно превращается из роскоши в необходимость для организаций любого масштаба и отраслевой принадлежности. Однако внедрение подходов data-driven — сложный проект, затрагивающий все аспекты деятельности организации: от технологий до управленческих практик, бизнес-процессов и культуры. Форум «Управление данными — 2021», организованный издательством «Открытые системы», охватил все эти направления. У компаний постепенно накапливается опыт «правильной» работы с данными, что отражается и на программе форума: с каждым разом все больше места в ней отводится практике.

«Умейте выжидать, умейте нападать…»

У каждой организации свои цели, видение и миссия, свои потребности, особенности и окружающая среда. Именно поэтому универсальных рецептов в управлении данными не существует, компаниям многое приходится придумывать самим. Тем не менее, по мнению Александра Погосьяна, исполнительного директора по направлению «Качество данных» в «Сбере», все стратегии по управлению данными можно разделить на два типа: «защита» и «нападение».

Александр Погосьян: «При выборе стратегии управления данными не стоит ударяться в крайности»

«Защита» подразумевает обилие регуляторных ограничений и приоритет требований безопасности. Но когда ограничений не слишком много, можно уделить гораздо больше внимания «нападению» — захватывать рынок и развиваться. По словам Погосьяна, типичная отрасль, для которой характерна стратегия защитного типа, — здравоохранение, а атакующего — ретейл; финансовый сектор находится примерно посередине. Эти стратегии отличаются технологическими и организационными особенностями. Например, для защитной стратегии характерна высокая степень централизации; это касается и функции CDO, и бюджета. В ее рамках все централизовано и часто доминирует теория: тратится много усилий на создание «единой версии правды», единых стандартов, политик, методик.

Когда же преобладает нападение, приоритет получает децентрализация. Функция CDO расплывается по бизнес-подразделениям, формирующим собственные бюджеты. И подразделения при работе исходят из собственных, сугубо практических задач.

«Как и в спорте, защиту выстроить проще, поэтому компании обычно начинают с нее, а затем переходят к нападению. Обратный подход гораздо сложнее», — отметил Погосьян. Тем не менее, как обычно, не стоит ударяться в крайности. Должен быть баланс между развитием бизнеса и соблюдением комплаенс-требований.

По-прежнему с бубнами

«Счетная палата является одним из лидеров цифровой трансформации органов государственной власти, цифровизируются и объекты ее контроля. Но в реальной работе мы сталкиваемся с тем, что без танцев с бубнами никак не обойтись. Очень печально, что государственным органам не удается выбрать другую музыку», — посетовал Валерий Сохоров, руководитель центра экспертно-аналитических и информационных технологий Счетной палаты РФ.

Валерий Сохоров: «85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом»

Казалось бы, все необходимые системы внедрены и работают, но по факту инспекторы продолжают работать в электронных таблицах и текстовых документах. Дело в том, что органы власти не слишком сильно хотят делиться информацией не только с бизнесом, но и с органами аудита. Логика очевидна: если данные будут слишком хороши, то с их помощью будет легче выявить нарушения и наказать за них. Как подчеркнул Сохоров, 85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом.

В Счетной палате работают более 700 инспекторов, которые проводят в среднем 150 проверок в год. В этих условиях Счетная палата остро нуждается в комплексной системе управления данными. Если возникает необходимость проверки, инспектор должен обращаться не к объекту контроля и тратить время на взаимодействие с ним, а непосредственно к данным.

В 2021 году в Счетной палате была создана единая команда по работе с данными, в которую, помимо «технарей» и дата-аналитиков, входят 52 дата-стюарда, являющихся, по словам Сохорова, «переводчиками между айтишниками и чиновниками».

Путь осознанного потребления

«В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных», — считает Полина Минеева, руководитель практики Applied Intelligence в Accenture.

Полина Минеева: «В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных»

Действительно, все компании начинали свой путь к управлению данными с проектов, заключающихся в разработке стратегии использования данных и повышения их качества, стремясь ускорить получение регуляторной и управленческой отчетности. Эти проекты реализовывались исключительно по требованию регуляторов и руководства компании. Они характеризовались жестко централизованной моделью и созданием единого центра компетенций внутри организации. Впоследствии приоритеты существенно изменились: компании начали управлять данными, потому что увидели в этом ценность для себя. Как результат, в ходе проектов стали появляться два-три центра компетенций, в бизнесе произошла федерализация данных. Изменились и технологии: на смену традиционным хранилищам данных пришли гибридные решения и микросервисная архитектура.

Сейчас наблюдается новая тенденция, — data minimalism: происходит переход от больших (big data) и умных данных (smart data) к minimum viable data — минимально необходимым данным для создания конкретного информационного продукта. Такая осознанная фильтрация данных не только сокращает стоимость их хранения и обработки, но и, например, позволяет четко ответить клиентам на вопрос, какие данные о них собираются и с какой целью.

Большие данные для малых предприятий

Поставщики данных и аналитических сервисов на их основе предполагают, что потребители их продуктов – также крупные компании, использующие аналитику для поддержки принятия решений. Поэтому и соответствующие сервисы, в первую очередь, ориентированы именно на такие организации. Малому бизнесу, не имеющему собственных аналитических ресурсов, приходится действовать наощупь. Как следствие, большинство из мелких компаний живут очень непродолжительное время.

«Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов. Крупный бизнес для этого привлекает консалтинг и пользуется услугами профессионалов высокого класса, а у ‘малышей’ таких возможностей нет», — подчеркнула Мария Поликанова, управляющий директор SberData и руководитель стратегического комитета Ассоциации больших данных. Предпринимателям нужна поддержка принятия решений: отчеты, фактически обрисовывающие перспективы на ближайшее будущее, а в идеале – финансовый план на три года.

Мария Поликанова: «Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов»

Поликанова рассказала о том, как большие данные помогают развиваться малому и микробизнесу. Участниками Ассоциации больших данных создан рекомендательный сервис «Собственное дело» для малого бизнеса. Он использует обезличенные данные из различных отраслей и вошел в перечень проектов в области цифровых инноваций, для которых вводится особый экспериментальный правовой режим. Сервис дает возможность правильно выбрать локацию для своего бизнеса и задать его параметры: необходимые инвестиции, окупаемость проекта, оборудование и персонал, ценовая политика и план продаж.

Без бизнеса не обойтись

«Далеко не все аналитические проекты являются успешными. Где-то нарушается бюджет, где-то — сроки, где-то достигаются не все цели. Всегда что-то может пойти не так», — признал Иван Вахмянин, генеральный директор компании Visiology. По его убеждению, большая часть проблем связана не с технологиями, а с соответствием бизнес-задачам, наличием компетенций и готовности меняться. Основной эффект дает не само внедрение BI, а именно управление на основе данных. Для этого необходимы и качество данных, и корректная их обработка, и визуализация, и заточенность на предметную область. Но самое главное — должны быть внедрены соответствующие управленческие практики. Если менеджеры не привыкли работать с данными и не верят в это, то им не помогут даже лучшие инструменты.

«Большое количество возникающих в ходе проектов проблем связано не с техническими решениями, а с неверным подходом. Пробивать лбом стены — не самое правильное занятие», — согласился Олег Гиацинтов, технический директор DIS Group.

Роль CDO в компании до сих пор размыта, на него часто взваливают много лишнего. Например, его обязанности могут включать защиту и обеспечение безопасности данных, создание аналитических систем. В результате Data Governance в компании часто остается «на бумаге», за теоретической деятельностью не доходит до реальной работы с данными. Отсутствие реального финансового эффекта предсказуемо приводит к смене CDO. Гиацинтов привел примеры «лучших практик» CDO-долгожителей: необходима стратегия управления данными; нужны наглядные примеры того, как аналитика данных может стимулировать бизнес-результат; в обязательном порядке следует выбрать одного-двух передовых директоров для поддержки и показать другим руководителям результаты их работы.

К слову, именно таким путем пошла Светлана Бова, CDO ВТБ, заручившись в начале своей работы поддержкой департамента рисков. Она рассказала о выстраивании в банке карт потоков данных — data lineage. Наличие такого инструмента радикально сокращает время решения аналитических задач. Возможно, он не обязателен для небольших компаний, но когда речь заходит о больших масштабах, то все меняется. Например, такой подход позволяет просчитать, на какие из систем повлияет изменение части корпоративного ландшафта, а также серьезно помогает в решении инцидентов, касающихся качества данных.

«Наша цель — стать data-driven-компанией. Самое привлекательное в этом — возможность отдать рутинные процессы искусственному интеллекту, а человеку оставить лишь стратегические задачи», — заявил Сергей Иванов, CDO «Уралхима». Чтобы это стало реальностью, нужна трансформация культуры и открытость бизнес-подразделений новшествам, их помощь в создании цифровых продуктов. Как подчеркнул Иванов, пока бизнес не вовлечен в этот процесс, серьезного эффекта не будет. Как следствие, на первый план у ИТ-подразделения выходят задачи по обучению бизнеса.

«Данные — это актив. Мы просчитали, что произойдет, если не будет соответствия между одинаковыми продуктами в разных странах, и результаты нас впечатлили», — рассказала Анна Дудина, руководитель функции по управлению мастер-данными IDS Borjomi International. Сразу после восприятия данных как актива естественным образом встает вопрос управления ими и контроля их качества. Актив необходимо описать и оценить, и он должен иметь хотя бы одного бизнес-владельца, а в идеале — ровно одного. Кроме того, данные публикуемые цифровыми продуктами, должны ссылаться на описание используемых активов данных.

В 2020 году в IDS Borjomi International был начат масштабный MDM-проект, в ходе которого пришли к необходимости создания совета по управлению данными (data council) — совещательного органа, на котором принимаются решения, связанные с анализом данных, а также с планированием и контролем работы с данными.

В пивоваренной компании «Балтика» тоже разработали ролевую модель, привлекающую бизнес-функции к управлению данными. «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества», — уверена Варвара Макарьина, отвечающая в компании «Балтика» за реализацию стратегии Data Governance. Практика показывает, что до 30% времени сотрудников тратится на поиск данных и оценку их качества. Более того, часто компании зависят от экспертов, которые знают о данных все и уход которых может стать катастрофой. Внедрение в «Балтике» каталога данных позволило решить эти проблемы.

Варвара Макарьина: «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества»

«В онлайн-продажах, в отличие от традиционного ретейла, решение о покупке зачастую принимается исключительно на основании представленной информации о товарах, поэтому качество данных приобретает критически важное значение», — отметил Юрий Кротков, менеджер проектов в «Яндекс.Маркете». Любой инцидент, связанный с качеством данных, влияет на продажи, а иногда и на логистические процессы. При этом в ряде случаев искажения в данные вносят умышленно — это делают с различными целями поставщики продукции и их партнеры. По признанию Кроткова, раньше в «Яндекс.Маркете» пытались «максимально эффективно тушить пожары». После внедрения решения Ataccama в компании появились дата-стюарды, настраивающие логику автоматического контроля качества данных.

***

Как отметили многие участники форума, до недавнего времени акцент делался исключительно на технологиях сбора и анализа данных, а управление ими отходило на второй план. И до сих пор компании часто не знают, кого нанимать на позиции, связанные с управлением данными, ведь эта функция у многих только создается. Более того, руководители и специалисты — от CDO до аналитиков — имеют субъективные представления о целях управления данными, часто оно сводится лишь к быстрой окупаемости проектов.

Согласно меткому высказыванию, коронавирус стал лучшим директором по цифровой трансформации – всего за год ему удалось то, на что в «мирное» время потребовалось бы долгое время. Многие утверждают, что за прошедший год, несмотря на все проблемы, в области работы с данными было сделано больше, чем за прошедшие 10 лет. Как отметили эксперты рамках форума INFADAY 2021, организованного компанией DIS Group, именно сейчас на первый план выходит задача создания корпоративной культуры управления данными.

Готовились долго, перешли за недели

«Компании долго готовились. К 2019-2020 году компании подошли с большим количеством инструментов, командами разработки, гибкими методологиями, инструментами управления данными», — констатировал Михаил Садофьев, руководитель направления продвинутой аналитики Accenture. Но прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Произошел и большой сдвиг с точки зрения информационной безопасности: компании сплотились, чтобы преодолеть неожиданный барьер. Узким горлышком стала правильная коммуникация между людьми, и в числе прочего, это повлияло на культуру работы с данными.

Михаил Садофьев: «Прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Узким горлышком стала правильная коммуникация между людьми, и это повлияло на культуру работы с данными»

Как подчеркнула Алевтина Тинас, руководитель отдела методологии, дирекции по управлению данными и контролю маржинальности бизнеса Tele2, прошлый год показал, насколько быстро при необходимости все мы умеем меняться. Конечно, это не было волшебством: все компании, успешно прошедшие сквозь сложный период, уже были готовы к изменениям. Тем не менее, Tele2, как и все компании, столкнулась с определенными сложностями.

«Мы увидели, что абоненты начинают пользоваться услугами в необычных местах, и пришлось оперативно развивать сети там, где они до сих пор не были востребованы», — отметила Тинас. Стали востребованными сервисы, связанные с государственными данными, в том числе в части предотвращения распространения коронавируса. Все это требовало большого объема оперативной работы.

Татьяна Борисова: «Прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании»

«Конечно, был вызов с точки зрения перехода на онлайн-формат. Пандемия дала развитие для него, но при этом мы увидели многие проблемы, которые подчеркнули важность работы с данными. И культуры работы с ними», — рассказала Татьяна Борисова, руководитель направления стандартизации данных и управления знаниями пивоваренной компании «Балтика». Если раньше сотрудники, находясь в офисе, могли спросить у коллег совета, то сейчас на лишние созвоны и совещания времени нет. Это показало важность создания единого места для хранения информации о данных.

«Наш банк давно работал над созданием стратегической финансовой модели, которая позволяла бы делать динамическое моделирование. Но лишь в условиях кризиса ее удалось завершить», — поделился Игорь Гончаров, руководитель службы управления данными и организационным развитием банка «Уралсиб». У руководства банка уже давно было ощущение, что нельзя по три года жить в рамках нескольких основных сценариев – от оптимистического до пессимистического, – ситуация меняется гораздо быстрее. А пандемия показала, что надо опираться не на долгосрочные прогнозы, а на возможность оперативно перестраивать свои планы.

Игорь Гончаров: «Именно культура определяет эффективность работы с данными. Это стиль мышления: я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений»

«Мы перешли на 'удаленку' за несколько недель. Для этого нужно было иметь и необходимый технологический ландшафт, и культуру управления, которую следовало изменить в считанные дни», — заявила Наталья Третьякова, руководитель управления организации работы с данными «Газпром нефть». Практике регулярного менеджмента были сильно изменены именно из-за того, что культура онлайн-общения совсем другая. В частности, пришлось сильно изменить управление проектами – требовалось очень быстро принимать решения в рамках крупных проектов.

Наталья Третьякова: «Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это»

Что такое культура работы c данными?

«Сейчас со всей очевидностью становится ясно, что именно культура определяет эффективность работы с данными, – уверен Гончаров. – Это другой стиль мышления, я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений». Если раньше многие организации опирались на экспертизу и опыт, особенно при принятии быстрых решений, то сейчас всё изменяется. Разрабатываются гипотезы, как дальше может развиваться организация, что может приносить прибыль, что выгодно клиенту. Проверка этих гипотез на реальных данных и порождает изменение культуры: представители топ-менеджмента действительно начинают мыслить категориями проверки гипотез. Прав не тот, кто более красноречив, а чьи доводы подкреплены данными.

Исследования, проводимые аналитиками, показывают: организации, изменившие культуру работы с данными, способы обработки информации, сейчас становятся гораздо более эффективными.

«Культура – это не процессы и инструменты, а то как они реально применяются в компании», — согласна Тинас. Все зависит от того, насколько много людей принимают решения, основываясь на данных, сколько из них осознанно используют данные – понимают, откуда они происходят, какого они качества, как эти данные используются в дальнейшем. Чем больше людей проникаются этой культурой, тем мощнее наблюдаемый эффект. Проблема в том, что именно культурные изменения – самые сложные.

«Культура работы с данными зависит от того, какие действия выполняет каждый сотрудник в своей ежедневной работе. Работа с данными должна стать рутинной для всех», — полагает Третьякова. До сих пор во многих компаниях знания о работе с данными передаются из уст в уста: получив успешный опыт, сотрудники транслируют его на своих коллег. Российская ментальность заключается не в чтении инструкций, а передаче лучших практик через «сарафанное радио». Как следствие у нас нормальной практикой становится распространение культуры через пилотные проекты, в которых сотрудники видят ценность лично для себя. Это более эффективный путь, чем любые изменения сверху.

Действительно важна заинтересованность топ-менеджмента и в целом идеология. Но самый лучший двигатель изменения – бизнес-кейсы. «Данные должны монетизироваться – и это не просто слова. Если мы найдем возможность строить новый бизнес или получать новую добавленную стоимость от работы с данными, это лучший путь к изменению культуры», — отметил Гончаров.

Возглавить «окультуривание»

В развитии культуры помогает социальный подход: внутри организации важно создать сообщество аналитиков и потребителей данных, чтобы появились горизонтальные связи и размылись стены между различными департаментами. Люди должны обмениваться не отчетами, вызывающими споры, а дата-сетами, где все прозрачно. Если такое сообщество будет создано, то это лучший двигатель развития культуры.

«Сообщества – это тренд, который развивает любую культуру», — говорит Тинас. Другой вопрос – как людей вовлекать в эти сообщества. Самые ценные его участники – эксперты, которые уже успешно используют данные. Но как замотивировать их делиться успехом с остальными? И как организовать сотрудничество большого количества людей и выровнять у них культуру работы?

«Мы сотрудничали с вузами, и несколько идей относительно внедрения культуры управления данными пришло от студентов. Например, использование геймификации, позволяющей вовлечь большее число участников», — отметила Борисова. Она считает, что прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании, и они имеют не меньшее значение, чем оборудование и основные средства. Через обучение и тренинги такое понимание можно привить.

Предоставляя доступ к данным большому числу пользователей, важно подчеркивать, что это единый источник правды. Не должно быть противоречивых данных; кроме того, необходим каталог, помогающий видеть единый порядок их интерпретации и трактовки. Иногда имеет смысл предусмотреть возможность задать вопрос владельцу данных. Имея такую прозрачную систему, и культуру строить проще, и времени на поиск информации будет уходить меньше. Это крайне важно, особенно на начальном этапе.

CDO-евангелист: один в поле не воин?

«При наличии единственного амбассадора и отсутствии вовлеченности к других сторон велик риск замедленного развития», – полагает Борисова. А вот наличие кросс-функциональной команды снижает риски и сокращает сроки. Именно такой подход является самым эффективным, и к нему стоит стремиться.

«Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это», — согласна Третьякова. Для этого нужна общая идея, общая цель и понимание того, что компания в итоге должна получить от этих серьезных инвестиций – ведь ресурсов действительно потребуется много. Если нет стратегии и цели, то такую группу евангелистов, понимающих, на какую цель они работают, создать сложно.

«Культуру сложно насаждать, она должна расти сама. Внешние усилия могут лишь поспособствовать росту», — уверена Тинас. Со стороны CEO требуется поддержка, со стороны CDO – обеспечение процессов и инструментов, со стороны HR – организация обучения. Но ключевую роль играют «евангелисты от бизнеса» – ключевые пользователи данных.

Разумеется, технологии важны: говорить про культуру работы с данными, имея в наличии лишь электронные таблицы и почту, сложно. Но она в любом случае должна распространяться личным примером, в идеале – со стороны руководства. Поддержка членов правления, хотя бы декларативная («Не приносите мне отчеты в Excel и не присылайте отчеты по почте»), очень важна и показывает остальным направление развития.

Самое важное и самое сложное звено системы управления данными — люди. В ходе практической конференции «Качество данных — 2021. Стратегия, инструменты, практика», организованной издательством «Открытые системы», очень многие эксперты фокусировались вовсе не на технологиях. По их мнению, в вопросах управления данными и обеспечения их качества гораздо важнее методология, правильно выстроенные процессы и отношения с людьми, причем на всех уровнях корпоративной иерархии. (О конференции см. также "Качество данных: советы бывалых".)

Сизифов труд для марафонцев

«Качество данных — это не только формальные процедуры проверки того, насколько они удовлетворяют заданным критериям. Это в большой степени и вопрос культуры организации, выстраивания процессов, дающих необходимый результат», — подчеркнул Михаил Петров, директор департамента цифровой трансформации Счетной палаты РФ.

Исторически в обязанности Счетной палаты не входили аналитика и работа с данными, этот орган выполнял контрольные функции. Сейчас происходит движение в сторону аналитической работы с данными, в том числе профилактики и системного анализа проблем. Переход к цифровому формату работы требует совсем другой культуры — необходимо менять мышление с «карательного» на аналитическое.

Для изменения культуры в числе прочего оказались весьма полезными конкурсы и хакатоны, в ходе которых совместно с сотрудниками формулируются ИТ-задачи для участников. Такие мероприятия стали очень эффективным инструментом, позволившим вовлечь сотрудников в работу с данными.

При создании службы управления данными был выбран децентрализованный подход, при котором работа с данными в значительной степени делегируется в подразделения. Взращивать компетенции в подразделениях — более длительный путь, но на стратегическом горизонте он принесет больше пользы.

«Термин 'качество данных' олицетворяет боль любой крупной организации: данных становится все больше, компании старательно собирают их, но чистить данные — сизифов труд, — признала Светлана Бова, директор по управлению данными ВТБ. — Можно достичь сколь угодно больших успехов, но с каждой новой порцией данных, с каждым структурным изменением все начинается заново».

Тем не менее без цикличного процесса контроля качества данных состояние «цифрового здоровья» организации будет ухудшаться. Команда, которая занимается качеством данных, сродни марафонцам: только у них достаточно воли и терпения для выполнения повторяющихся рутинных действий. Такая работа не всегда благодарная, поэтому, чтобы ею заниматься, необходимы высокая степень мотивации и понимание ценности данных для организации. Это достаточно сложный профиль при подборе персонала.

Управления данными не существует без бизнеса

«Люди — значимая история в нашей системе координат по управлению данными. Именно они выполняют процессы и корректируют их, используют внедренные инструменты в своей работе», — отметила Любовь Кайдалова, руководитель направления по качеству данных компании «Газпром нефть».

В компании очень много времени потратили на назначение ответственных за данные. По словам Кайдаловой, вкладываться в это направление необходимо, хотя это и трудоемко: игра стоит свеч, поскольку работать потом становится проще. Еще одной зоной повышенного внимания стали сами потребители данных. Как правило, люди, работающие с данными, могут сформулировать требования к ним и свои ожидания, но есть и много чрезмерно эмоциональных пользователей, не настроенных на конструктив. Надо концентрировать усилия на работе именно с теми, с кем можно продуктивно вести диалог.

«Обязательно вовлекайте бизнес-подразделения в работу с данными, потому что не существует управления данными без бизнеса», — порекомендовала Кайдалова.

Александр Афонин, директор департамента развития платформы по управлению качеством данных X5 Retail Group, рассказал о том, как важно правильно позиционировать роль подразделения Data Quality. «Мы не собираемся становиться клининговой службой, прибирая за бизнесом и исправляя некачественные данные», — заявил он. Верный подход — выстроить вместе с бизнесом правильные процессы, чтобы не допускать повторения ошибок в дальнейшем, а затем совместными усилиями устранить их. При этом ответственность за качество данных несет бизнес, а специалисты по качеству данных вынуждены иногда быть «плохими полицейскими», попутно объясняя и бизнесу, и ИТ, как нужно работать, чтобы качество данных повышалось.

Качество — забота каждого

Когда компании задумываются о рациональном управлении — то есть о принятии решений на основании данных, а не чьих-то субъективных мнений и эмоций, они осознают необходимость обеспечить отчетность. Как отметил Сергей Горшков, директор компании «ТриниДата», желание получать информацию для решения всех прикладных задач быстро приводит к тому, что отчетности становится очень много. Работа с ней занимает значительное время, а вот извлечь пользу из нее удается не всегда. Помимо выявления данных низкого качества, необходимо фиксировать методики расчета каждого показателя, но в компаниях не сразу приходят к пониманию важности решения этой задачи.

«Чтобы правильно работали процессы управления данными, должна быть выстроена мощная структура из методологических подходов», — уверен Олег Гиацинтов, технический директор компании DIS Group. Обеспечить возможность каждому пользователю легко воспользоваться данными — очень непросто. И правильные процессы здесь гораздо важнее, чем внедряемые для их реализации ИТ-решения.

При этом важно определить тех, кто отвечает за данные. «Вероятно, все думают, что их будут бить, поэтому отчаянно сопротивляются. Хотя на самом деле должно быть наоборот: они сами должны выдвигать требования к данным и наказывать нарушителей», — считает Гиацинтов. В любом случае бизнес может гораздо быстрее и лучше обеспечить качество своих данных. И самое главное — когда бизнес-пользователь хочет сделать что-то быстро, нужно дать ему возможность сделать это самостоятельно. Пользователи, желающие заказать данные, должны получить их быстро и автоматически, причем с качеством, которому будут доверять.

Анна Серебряникова, президент Ассоциации больших данных, рассказала о выстраивании работы с данными за рамками закрытого контура. По ее словам, 70% данных, интересных компаниям с коммерческой точки зрения, так или иначе связаны с персональными данными. Работать с такой информацией очень сложно с законодательной точки зрения, и это не позволяет ни развивать кросс-отраслевые проекты, ни обогащать данные, ни обучать качественные модели. Поэтому в Ассоциации сейчас активно занимаются проблемой работы с обезличенными данными.

Алексей Ильин: «Управление качеством данных должно стать в буквальном смысле задачей каждого сотрудника»

По словам Алексея Ильина, генерального директора российского офиса компании Ataccama, много проектов data governance приходят к тому состоянию, когда система внедрена и «лампочки мигают», но люди с ней не работают. Это проблема: нужно менять процессы, чтобы люди пользовались решением; задача управления качеством данных должна стать массовой. Каждый должен стараться улучшать их или хотя бы не ухудшать.

Надо стремиться к тому, чтобы все пользовались внедряемыми инструментами управления данными. Однако для этого важно дать пользователям удобный инструмент для работы с качеством в реальном времени, причем «оторвать» его от ИТ, предоставить возможность самообслуживания. Платформа должна помогать пользователям решать рутинные задачи — например, самостоятельно выявлять аномалии в данных, автоматически их идентифицировать и предлагать проверки по ним.

Самая большая проблема в проектах data governance — управление изменениями, в том числе культурными. Мало кому удается поменять культуру в организации настолько, чтобы качество данных стало задачей каждого.

«Газпром нефть» — один из лидеров цифровой трансформации в нашей стране. Мы постоянно слышим о достижениях компании во внедрении передовых цифровых решений в разные направления бизнеса. Понятно, что без серьезной работы с данными такие прорывы были бы невозможны. Но разрозненных проектов по созданию хранилищ и аналитике данных уже недостаточно. С мая 2019 года в «Газпром нефти» функционирует общекорпоративная структура по управлению данными, которая закладывает фундамент для всех инициатив цифровой трансформации компании.

Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть» и номинант премии CDO Award 2021, рассказывает о масштабном проекте выстраивания корпоративной функции управления данными: как это начиналось, к чему пришли сегодня и какие задачи стоят на ближайшее будущее.

Данные в основе цифровой трансформации

— Каковы предпосылки для создания функции «Управление данными» в «Газпром нефти»? С чего вы начинали?

Одной из главных предпосылок стало создание стратегии цифровой трансформации компании. В 2018 году в «Газпром нефти» начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными.

Перед нами стояли задачи формирования методологии, выстраивания процессов и встраивания их в регулярную деятельность подразделений для обеспечения максимальной ценности от использования данных. Также требовалась реализация инструментальной поддержки при помощи внедрения платформы управления данными, формирование нового семейства центров компетенций и широкомасштабное обучение.

Совместно с компанией McKinsey нами был реализован проект по формированию концептуальной модели управления данными. В результате были определены ключевые принципы, цели и задачи функции управления данными, основные КПЭ, определяющие ее эффективность, процессная и организационная модели, необходимые компетенции и инструментарий.

С точки зрения приоритетов в первую очередь необходимо было обеспечить прозрачный и быстрый доступ к качественным данным для бизнес-пользователей. В компании огромный объем информации, которая хранится и обрабатывается в более чем тысяче бизнес-систем. Пока система работы с данными настраивается, информация еще существенно разрозненна, что затрудняет оперативный анализ и принятие решений на ее основе. Работы по интеграции данных и активное строительство корпоративного хранилища дают первые результаты. Раньше в отсутствие централизованной точки доступа каждый пользователь вынужден был запрашивать права на чтение данных владельцев отдельных бизнес-систем, что сильно ограничивало возможности работы с данными. В настоящее время реализуется доменная модель организации доступа к данным, которая существенно продвинет компанию в области демократизации данных и ускорения процессов их обработки. Кроме того, мы уделяем особое внимание таким направлениям деятельности, как повышение уровня доверия к данным за счет увеличения их качества, а также формирование ответственности за данные.

— Какое место занимает функция «Управление данными» в оргструктуре компании?

Мы активно сотрудничаем с ИТ-кластером компании и ее подразделением цифровой трансформации. Разрабатывая с McKinsey концепцию управления данными, мы рассматривали различные варианты расположения нашей функции в организационной структуре и сочли наиболее удачной модель, в соответствии с которой функция войдет в состав подразделения, ответственного за вопросы экономики и финансов, поскольку в нем уже накоплен серьезный опыт работы с данными, а сотрудники имеют хорошее представление о потребностях в данных других подразделений.

— В «Газпром нефти» работа по управлению данными на уровне подразделений уже ведется. Например, лауреатом премии CDO Award 2020 в номинации «За обеспечение качества данных» стал Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж. Каким образом вы, строя глобальную корпоративную функцию «Управление данными», учитываете наличие таких процессов, разный уровень зрелости подразделений с точки зрения работы с данными?

Компания реализует федеративную модель управления данными: определенные задачи решаются на уровне корпоративного центра, и есть направления, которые развиваются в дочерних подразделениях, а затем их лучшие практики тиражируются на всю компанию.

В «Газпром нефти» создана специальная система коллегиальных органов, которая унифицирует и оптимизирует процессы управления данными в разных подразделениях. Управляющий совет по данным определяет стратегию в области управления данными, приоритизирует задачи в рамках реализации дорожной карты, принимает наиболее важные решения по развитию функции. Экспертный совет призван решать прежде всего вопросы методологии, выявлять лучшие практики для их дальнейшего тиражирования. Технический совет отвечает за выбор ИТ-инструментов, обеспечивая целостность архитектуры управления данными, и регулирует, какие технологические решения реализуются на уровне корпоративного центра, а какие можно эффективно воплотить в жизнь на уровне бизнес-подразделений.

На корпоративном уровне сосредоточены процессы data governance, в частности управление бизнес-глоссарием и каталогом данных. Мы создаем нашу википедию по данным компании, так называемый единый источник правды о данных. В рамках развития платформ на корпоративный уровень поднимаются также отдельные решения, реализованные бизнес-блоками, что позволяет быстрее и эффективнее их использовать для оптимизации процессов на уровне всей компании.

Вначале — методология

— Как формировалась методология управления данными?

Мы начали с методологии, потому что понимали, что пока не будет сформирована модель процессов и детально проработаны артефакты управления данными, тиражирование в рамках компании невозможно. Первым шагом стала разработка процессной модели, в основе которой лежат свод знаний по управлению данными DAMA DMBoK и лучшие практики передовых компаний России и мира. Затем мы конкретизировали ее с помощью так называемых кратких руководств, определяющих порядок процессов и роли в них. Следующим шагом стало формирование детальных стандартов и регламентов, являющихся базисом методологии.

Создание методологии идет параллельно с разработкой корпоративной системы управления данными. Задача состоит в том, чтобы сначала описать целевой процесс, а затем найти инструмент, который обеспечит его гибкую реализацию. Многие действуют в обратном порядке: выбирают коробочное решение и под него настраивают процессы. Наш путь более сложный, но более правильный, мы под методологию настраиваем инструменты.

— Какие процессы управления данными у вас есть?

Процессная модель включает в себя семь блоков процессов. Первый процесс — организация управления данными, в основе которой лежит доменная модель. Домены данных — это предметные области работы с данными, определяющие границы ответственности за данные. Процесс организации управления данными описывает ключевые роли, такие как ответственный за домен, администратор домена, бизнес-эксперт. Кроме того, в рамках данного процесса детально описывается, как формируется спрос на данные в домене.

Следующий блок процессов — управление структурными элементами данных, включающий такие ключевые направления, как управление архитектурой данных, управление НСИ, управление репозиторием метаданных.

Блок управления жизненным циклом данных описывает все, что касается движения данных во времени, включая определение требований к регламентным срокам поставки и интеграции данных.

В отдельный блок выделен процесс управления неструктурированной информацией, в его рамках успешно реализован проект корпоративного поиска и анализа контента. Корпоративный поиск очень востребован, с его помощью более 17 тыс. сотрудников получают доступ к более чем 6,5 млн документов.

Следующий и один из наиболее важных составных элементов модели — процесс управления качеством данных, обеспечивающий доверие к данным бизнес-пользователей.

Процесс управления хранилищем и BI и продвинутая аналитика логично завершают процессную модель и формируют основную ценность принятия решений на основе данных.

— В каком статусе находятся процессы: описаны, реализованы?

Практически все процессы функционируют. Их внедрение в операционную деятельность происходит поэтапно. Мы определили пилотные домены данных, где внедрили процессы в первую очередь. Для этого была сформирована целостная программа управления данными, включающая семь проектов, охватывающих девять пилотных доменов. Три домена связаны с коммерческой деятельностью по сбыту нефтепродуктов; четыре домена покрывают процессы текущего и капитального ремонта скважин и интегрированного планирования добычи нефти, добычу на шельфовых активах; домены производственной безопасности и управления персоналом относятся к общекорпоративным функциям.

В настоящий момент мы получили результаты по пилотным проектам и начали масштабировать их на домены так называемой второй волны.

— Какие выводы были сделаны по результатам пилотной программы?

На пилотных доменах мы сформировали ключевые артефакты управления данными, научились выявлять и определять спрос бизнеса на данные и даже научились иногда данные бизнесу «продавать» (показывать ценность на реальных кейсах и задачах). По итогам проделанной работы мы поняли, что, во-первых, успех управления данными в огромной степени зависит от уровня зрелости бизнес-подразделения, а во-вторых, этот уровень изменяется со временем. Не только мы нарабатываем опыт как функция управления данными, но и в подразделениях, которые участвуют в пилоте, существенно растет уровень понимания значения данных и процессов работы с ними.

Поэтому основную задачу мы видим в том, чтобы повысить уровень зрелости бизнеса в отношении данных. Если у бизнеса есть осознанный запрос на данные, все остальное — дело техники.

— Организационная модель функции «Управление данными» — в чем ее задача?

Организационная модель определяет взаимодействие между бизнес-подразделениями, функцией управления данными и ИТ-кластером: три больших блока, в каждом из которых требовались определенные преобразования с точки зрения выполняемых функций. В бизнес-подразделениях появились новые роли: ответственные за данные, администраторы доменов и т. д. Со стороны управления данными сформирован целый набор функций, реализованных либо в качестве сервисов, либо в рамках проектной деятельности. Организована совместная работа с коллегами из цифровых и ИТ-подразделений, которые помогают нам в развитии инструментов управления данными.

Организационная модель также описывает, как формируется команда внутри функции управления данными — на уровне корпоративного центра и на уровне основных бизнес-подразделений, каким образом реализуется кросс-функциональное взаимодействие специалистов, как обеспечиваются накопление и развитие компетенций.

— Какое обучение и для кого потребовалось при формировании функции «Управление данными»?

По обучению у нас идет очень активная работа. Совместно с Высшей школой экономики мы разработали модуль по управлению данными в рамках образовательной программы по цифровой трансформации для топ-менеджеров. Нам удалось собрать сильную команду спикеров — экспертов рынка, в том числе я сама с удовольствием приняла участие в этой программе в качестве спикера. В следующем году этот курс может стать доступным для менеджеров других компаний.

Кроме того, сформированы различные программы внутреннего обучения. Сотрудники функции управления данными (более 170 человек) уже прошли как минимум один тренинг по инструментам, в настоящий момент идет обучение в части методологии и сертификация ключевых сотрудников функции по DAMA DMBoK.

В этом году мы планируем запустить программу для бизнес-пользователей — Школу аналитики в рамках факультета цифровой трансформации корпоративного университета «Газпром нефти». Это входит в план работ кафедры управления данными и бизнес-аналитики, созданной в 2020 году. Кроме того, для сотрудников бизнес-подразделений, которые занимаются работой с данными, создаются видеокурсы по различным компонентам управления данными, которые станут обязательными элементами программ корпоративного университета.

«В 2018 году в "Газпром нефти" начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными»

Платформа управления данными

— Ваша корпоративная платформа управления данными называется Reporting HelpDesk (RHD). Всего лишь HelpDesk? Не принижает ли такое название значимость решения?

Да, мы тоже поняли, что переименование назрело. Проект начинался два года назад с сервиса отчетности, но сейчас это уже полноценная платформа управления данными, интегрирующая множество инструментов. Очевидно, что название не отражает масштаба решения.

— Какие задачи решает платформа, из каких блоков она состоит?

Фронтенд платформы — это бизнес-глоссарий, построенный на базе системы Alteryx. Основная цель глоссария — реализовать процесс know your data, обеспечить прозрачность всех данных, которые есть в компании. Решение представляет собой комплексный каталог, который наполняется данными по доменам, поддерживает внутренние потоки работ по сбору и описанию данных, делает доступной информацию по их уровню качества. Предполагается также интеграция с внутренним порталом для сотрудников, что позволит распространять методологическую информацию по управлению данными по всей компании, а также сделает доступным процесс заказа дата-сервисов.

Бизнес-глоссарий интегрирован с каталогом технических метаданных на базе решения Informatica Enterprise Data Catalog, благодаря чему в бизнес-глоссарии отображаются потоки данных (data lineage) и процесс трансформации данных.

Отдельный блок платформы представлен инструментом оценки качества данных, реализованным с помощью Informatica Data Quality. Оценка качества интегрирована с общекорпоративным журналом результатов проверок качества данных, который, в свою очередь, передает информацию о зафиксированных нарушениях правил качества в корпоративную платформу управления инцидентами. В рамках этого компонента платформы выполняются процессы управления инцидентами и управления проблемами качества данных.

Функции бизнес- и продвинутой аналитики реализуются с использованием инструментов SelfService BI на базе Qlik с возможностью доступа к данным через каталог, обеспечивают формирование дашбордов, генерацию отчетности по запросу и т. д.

Платформа интегрируется с корпоративной системой управления НСИ на базе «1С», а также с корпоративным поиском, который, в свою очередь, позволяет обрабатывать неструктурированные метаданные.

Таким образом, в рамках реализации проекта RHD мы развиваем платформу, представляющую собой комплексную систему управления данными.

— Есть ли уже примеры того, как использование бизнес-глоссария — «узнавание своих данных» — стимулировало бизнес на новый аналитический проект?

Конечно. Например, описание данных в домене коммерческой деятельности позволило существенно повысить эффективность реализации нефтепродуктов за счет получения оперативной и достоверной информации в части детализации по контрагентам, каналам продаж и т. д.

В домене производственной безопасности с использованием сервисов цифровой платформы (PaaS) «Газпром нефти» по интеграции и анализу данных реализуются инструменты для анализа барьеров безопасности. Барьер безопасности — это информация о том, где может быть нарушено правило безопасности, к чему это приведет, как этого можно избежать. Описание барьера с помощью данных и визуализации в дашбордах позволяет максимально приблизиться к автоматизированной системе предотвращения происшествий.

Все внимание — качеству

— Важный процесс управления данными — обеспечение их качества. У вас есть реестр бизнес-правил, которые переводятся в реестр технических правил качества данных. Как это делается и что дает?

С помощью бизнес-правила описывается требование бизнеса к элементу данных. Например, сотруднику Блока производственной безопасности необходимо предоставить информацию по номерам транспортных средств, которые выезжают на нефтепромысел, с детализацией по времени, чтобы можно было отследить нарушителей. На языке бизнеса требования сформулированы следующим образом: для поля «номер автотранспортного средства» должна быть доступна информация в разрезе времени, когда транспортное средство работало на месторождении. Затем эта информация переводится в язык технических правил при помощи Informatica DQ, то есть создается код технической проверки на наличие в данном поле данной информации. Благодаря процессу мониторинга качества данных мы можем отследить, когда была проведена проверка этих данных, сколько инцидентов выявлено на определенном датасете, в какой период времени произошли инциденты и т. д.

— Использование процессов управления инцидентами и проблемами в качестве данных — ваше ноу-хау или это распространенный подход?

Это классическая реализация процесса качества данных. Сначала необходимо найти инциденты, то есть нарушения качества, затем — понять, кто их может устранить, то есть определить производителей данных, ответственных за их состояние. И после этого обеспечить решение инцидента, иначе уровень качества останется неизменным. Не могу сказать, что внедрение такого подхода идет легко. В каждом отдельном домене разработка планов по повышению качества данных имеет свои особенности. Основная задача — определить, что можно сделать для того, чтобы повысить качество приоритетных для бизнеса элементов данных.

— В компании огромное количество источников данных. Какие из них создают наибольшие сложности?

Я бы прежде всего назвала ландшафт SAP: он у нас достаточно сложный, с жесткими условиями по интеграции, что создает дополнительные требования и условия для внедрения инструментов управления данными. Например, необходимы специальные коннекторы, чтобы считывать метаданные. Это непростая задача, но мы нашли подход к ее решению и сейчас уже хорошо понимаем, как работать с метаданными для этих систем.

Второй по масштабу ландшафт в компании представлен платформой «1С», для которой нет типовых решений от вендора по сбору метаданных, поэтому также требуется разрабатывать индивидуальный подход.

Достаточно большое количество источников данных в компании представлено MES-системами, для них мы только начинаем прорабатывать вопросы управления данными. Действительно, источников данных в компании множество, между ними много различий, и каждая группа систем требует своего подхода.

— А каков вклад бизнес-пользователей в обеспечение качества данных?

Появилась новая роль — ответственный за данные. Матрица ответственности за данные — отдельный артефакт качества данных, в котором отмечено, что за определенные данные в этом дочернем обществе отвечает конкретный сотрудник. И это очень важная история, потому что процесс управления инцидентами качества привязан именно к ответственному за данные: он совместно с аналитиком по качеству данных разбирается с инцидентами, может оперативно получать информацию, а если есть причины для недовольства его работой с данными, то делает выводы и оперативно принимает меры по повышению качества данных.

— С другой стороны, у бизнес-пользователей есть возможность самостоятельно строить аналитические приложения — SelfService BI. Насколько широко применяется этот механизм?

В подразделении, которое отвечает за логистику, переработку и сбыт продукции, инструменты SelfService BI подключены к хранилищу, и пользователи получили возможность из портала работать с разнообразными датасетами. Сейчас мы занимаемся донасыщением источников данных для SelfService BI в рамках интеграции с корпоративной платформой анализа данных, а также SAP BW, интегрируя огромный объем самых критичных для бизнеса данных.

— Можно ли сказать, что в результате ваших усилий по внедрению управления данными существенно расширился круг людей в компании, которые работают с данными, получают от них эффект и несут за них ответственность?

Безусловно, это так. Прежде всего в пилотных доменах.

Первые итоги и большие планы

— Каковы результаты вашего проекта на данный момент? Дает ли функция «Управление данными» экономический эффект?

Экономический эффект, безусловно, есть. Уровень экономической эффективности, достижение которого обеспечивает программа по управлению данными, сравним с показателями эффективности других инвестиционных проектов компании.

Главный результат — функция «Управление данными» участвует в формировании фундаментальных процессов в рамках цифровой трансформации «Газпром нефти». Первый год реализации стратегии цифровой трансформации обеспечил компании 7,2 млрд рублей экономического эффекта, в этом есть и наш вклад.

Но впереди у нас большой путь. По каждому из ключевых направлений программы по управлению данными (методология, инструменты, внедрение в регулярную операционную деятельность бизнес-подразделений, коммуникации и обучение) реализуется дорожная карта. Масштаб работ огромный, поскольку компания большая и диверсифицированная. Мы рассчитываем на то, что активное внедрение технологических инструментов позволит в ближайшее время осуществить прорыв в масштабировании функции «Управление данными».

— Каковы сроки реализации дорожной карты?

Около 40% доменов данных будут охвачены функцией «Управление данными» до конца 2021 года, а 100-процентное покрытие ожидается к 2023 году.

— Насколько важен для отрасли ваш опыт в управлении данными?

Пока уровень развития управления данными существенно выше в банках и в розничной торговле. Промышленность только начинает двигаться в этом направлении. Мы обмениваемся опытом с большим количеством производственных компаний, также переосмысливаем наработки финансовой отрасли и ретейла, чтобы применить их в своей практике. Так что в определенном смысле мы — одни из первопроходцев.

Алгоритмы машинного обучения вполне способны работать на данных, содержащих выбросы, пропуски и ошибки. Но все же есть предел качества данных, после достижения которого даже самый высококвалифицированный специалист не сможет построить адекватную модель.

Выступая на конференции «Качество данных 2020», которую провело издательство «Открытые системы», генеральный директор компании Mechanica AI Александр Хайтин мастерски добавил «Ложку дегтя в озеро данных». Так он назвал свой доклад, в котором поделился опытом выполнения проекта для предприятия черной металлургии — весьма полезным для тех, кто работает с машиногенерируемыми данными.

Озеро или отстойник?

Прямой связи между ростом объемов данных и принятием лучших управленческих решений нет. Сами по себе данные — это источник затрат на их сбор, хранение, обработку. И очистку! «В реальной жизни data lake больше похоже не на альпийское озеро меж сосен, а на отстойник жидких отходов: подойти страшно, но теоретически полезная вещь», — пошутил Хайтин.

Чтобы превратить данные в бизнес-актив, к ним применяют технологии искусственного интеллекта и другие методы. По сути в Mechanica AI занимаются переработкой вторсырья, превращая его в три полезные вещи: в виртуальные сенсоры, применяемые там, где слишком долго или дорого измерять что-либо физическими сенсорами; в предсказания, позволяющие улучшить управление объектами за счет предотвращения проблем, и, наконец, в прямую оптимизацию и экономию.

Но чтобы получить результат, приходится отделять ценное вторичное сырье, которое можно переработать, от токсичных отходов.

Кунсткамера проблем

Подготовка данных занимает до 80% времени работы с ними, при этом накоплению исторических данных, необходимых для построения модели, часто не уделяется должного внимания.

«Мы по определению с самого начала работаем с мусором и собрали целую коллекцию проблем с данными», — сообщил Хайтин. Пропуски, в том числе из-за поломок сенсоров и сбоев архивирования, а также явные ошибки — самые дешевые из них, так как их легко обнаружить и от них легко избавиться. Главное условие для этого — большой объем данных и не очень большая доля пропусков и ошибок, чтобы не уничтожить весь датасет.

К категории дорогих и очень дорогих проблем он отнес так называемую эзотерическую схему данных — несколько тысяч полей с именами в виде сокращений, аббревиатур и индексов. Также дорого обходится бизнесу неаккуратное агрегирование с усредненными по времени показателями, сделанное в расчете на то, что эта информация уже никому не понадобится. «Данные за много лет, превращенные в бесполезные агрегаты, — это необратимые потери: фарш обратно в мясо уже не превратишь», — отметил Хайтин.

Между тем исторические данные — самые дорогие. Их нельзя купить, можно только накопить. При этом нестыковки исходных данных с результатами, а также нецелостность информации значительно обесценивают накопленный массив. Например, отсутствие сведений о нештатных ситуациях порождает артефакты в данных, приводя впоследствии к попыткам обучить алгоритмы на негодных датасетах.

Если при накоплении данных были допущены критические ошибки, оптимизация производства с помощью обработки больших массивов накопленных данных может оказаться недостижимой. Всего одна ошибка в информационном потоке, поступающем с производственной линии, способна привести к задержке проекта на годы и обесценить все усилия по сбору данных.

Традиционно накопление данных ведется в компаниях по функциональным подразделениям, и в результате «озера данных» на практике часто оказываются фрагментированными. «В этой ситуации достаточно того, чтобы одно подразделение не передало свои данные в озеро, — и тогда ценность всех накопленных в нем данных резко упадет. Не на полпроцента, соответственно объему непоступивших данных, а на все 90%», — подчеркнул Хайтин.

Но проблема-рекордсмен в практике Mechanica AI — сбитые отметки времени в разных информационных системах внутри организации. Причем в некоторых случаях — с плавающей разницей между часами. Для оператора, управляющего физическим процессом в реальном времени, эта разница не имеет значения, так как он собственными глазами одновременно видит показания приборов. А вот сопоставить исторические данные разных систем и использовать их — в этом случае уже нельзя. Чтобы спасти ситуацию, приходится строить интеллектуальные программные решения, что обходится гораздо дороже, чем время системного администратора на настройку часов.

Для предотвращения подобных проблем рекомендуется крайне аккуратно относиться к процессу накопления исторических данных. «Не надо выкидывать сырье, хуже всего бороться потом с алгоритмами агрегации и очистки», — предостерег Хайтин. Он также советует протестировать собранные данные на целостность, построив учебную модель. А также не забывать притчу: «Если лошадь сдохла, слезь с нее, а не пытайся ее оживить». Иногда не стоит «городить огород» интеллектуальных решений, а надо просто смириться с потерей данных.