Data Award

В 2020-2022 годах Счетная палата Российской Федерации реализовала важный стратегический проект — комплексную программу подготовки специалистов (КППС) по управлению данными для высшего органа внешнего государственного аудита. Сотрудники Счетной палаты прошли обучение современным техническим инструментам дата-аналитики и получили практический опыт их использования. Программа позволила значительно повысить производительность труда инспекторов и выйти на новый качественный уровень представления результатов аудиторской работы. Для реальных задач Счетной палаты сотрудники ведомства за три года разработали более 130 решений, основанных на аналитике данных. О том, как удалось этого добиться, рассказал Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации и номинант на премию Data Award 2023.

— В чем заключались проблемы, какие задачи требовалось решить с помощью программы подготовки?

Проблемы типичны для многих госструктур: отсутствие опыта аналитической работы у имеющихся сотрудников, низкий уровень технологической подготовки, в том числе работы с инструментами аналитики, понимания управления данными и т.п. В то же время наша новая система компетенций требует всего этого, а на рынке отсутствуют программы обучения, нацеленные на подготовку необходимого уровня специалистов. Кроме того, нам нужна не теория, а практика — именно на реальных примерах из жизни специалисты такого рода как наши учатся лучше всего.

— Как появилась эта программа, какова история ее создания?

Программа была разработана и реализована нами в 2020-2022 годах, а ее целью является обеспечение реализации стратегии развития Счетной палаты в 2018-2024 годах. В частности, наша стратегия предусматривает не только цифровую трансформацию процессов операционной деятельности, но и развитие собственных аналитических компетенций и инструментария, основанных на современных подходах к моделированию, развитие дистанционных методов аудита, а также аналитических разработок и прикладных методов для обеспечения функции государственного аудита. Фактически КППС стала одним из важнейших инструментов решения задач стратегии. Ее предназначение – обеспечить наших сотрудников техническими знаниями и навыками, которые необходимы им для совершенствования государственного аудита, с акцентом на самостоятельную подготовку и обработку больших объемов информации и данных.

Утвержденная в 2021 году Модель компетенций описывает требования к знаниям и умениям применительно к ролям в процессах Счетной палаты. Ее особенностью и приоритетом стали специальные профессиональные компетенции, свойственные определенным профессиональным ролям, и универсальные цифровые компетенции, которые могут распространяться на всех сотрудников Счетной палаты.

С учетом специфики работы с аналитическими инструментами, а также процессами внедряемой системы управления данными, нами было выделено несколько ключевых ролей сотрудников: инспектор-«дата-стюард», инспектор-«дата-аналитик», дата-инженер и инспектор, обладающий универсальными цифровыми компетенциями. Для каждой из этих ролей в модель компетенций были включены соответствующие профили по трем уровням: начальный, средний, продвинутый. И конечно, сотрудников нужно обучать в соответствии с ними.

— Приведите пример таких профилей.

Например, рассмотрим роль дата-стюарда. На базовом уровне он должен понимать простые структуры и типы данных, обладать теоретическими знаниями о возможностях использования инструментов и принципах функционирования системы управления данными Счетной палаты, уметь работать с ГИС и иметь представление о базовых принципах управления данными. На высоком уровне всё гораздо серьезнее. Такой сотрудник обладает базовыми знаниями SQL, умеет работать с СУБД PostgreSQL, обладает навыками работы в PolyAnalyst, умеет разрабатывать правила надежности и качества данных. Он способен сформулировать рекомендации по составу и порядку формирования данных при создании и модернизации ГИС, умеет формировать задание на загрузку данных дата-инженеру из любого источника данных, имеет углубленные знания в области работы с данными, подтвержденные дипломами.

— Каковы вообще потребности Счетной палаты в экспертах по управлению данными и работе с ними? Должен ли в итоге каждый инспектор стать кем-то из дата-специалистов?

Конечно же, далеко не каждый инспектор должен стать продвинутым специалистом по управлению данными. На один профильный аудиторский департамент, которых у нас 15, из 40-50 человек вполне хватит двух-трех дата-стюардов – специалистов, отвечающих за предметное изучение данных и постановку задач на их «интеграцию»: определение и описание необходимых источников, дата-сетов и т.п. Остальные же инспекторы вполне могут обладать только базовым пониманием того, как устроены базы данных и информационные системы на уровне квалифицированных пользователей.

— Почему пришлось создавать собственную программу обучения?

Каждый из разработанных профилей ролей требовал подбора адекватных программ обучения. Выяснилось, что на образовательном рынке отсутствовали, да и до сих пор отсутствуют предложения по подготовке специалистов по работе с данными, набор компетенций которых соответствовал бы нашим специфическим требованиям. А «затачивать» под нас программу обучения никто из поставщиков не был готов.

Поэтому было принято решение разработать и реализовать КППС – собственную комплексную программу по подготовке специалистов по управлению данными для высшего органа внешнего государственного аудита. Ее преподавателями стали как сотрудники нашего Департамента цифровой трансформации, так и подведомственного Центра экспертно-аналитических и информационных технологий Счетной палаты Российской Федерации (ФКУ «ЦЭАИТ СП»).

— Какие направления охвачены программой?

Программа включает три постоянно действующих курса обучения для разных аудиторий. Это курс для инспекторов-«дата-аналитиков» — «Практика цифровой трансформации», курс для инспекторов-«дата-стюардов» — «Образовательный трек по работе с данными», и курс для инспекторов – «Работа с аналитическим инструментом PolyAnalyst». Занятия по каждому из курсов проводились дважды в неделю и представляли собой как традиционные лекции, так и практические работы на основе актуальных кейсов из практики инспекторов Счетной палаты. Практическому применению полученных знаний уделялось повышенное внимание: на решение кейсов по внешнему государственному аудиту в программах курсов отводилось до половины учебного времени.

По итогам обучения мы получили еще и набор электронных материалов, по которым новые сотрудники смогут самостоятельно пройти подготовку в полном объеме. Записи лекций и материалы для самостоятельного изучения выкладываются в нашей системе управления развитием персонала и системе управления знаниями.

— Расскажите немного про каждый из курсов. Например, что изучают дата-аналитики?

На этом курсе инспекторы, ориентированные на мероприятия по стратегическому и комплексному аудиту, осваивают методы и инструменты аудита, основанного на больших данных. Курс был разделен на несколько уровней (начальный, средний, продвинутый и расширенный) исходя из решаемых задач, сложности обрабатываемых данных и применяемых инструментов.

На начальном уровне инспекторы изучали возможности BI применительно к структурированным данным – агрегирование и визуализация первичных данных из государственных информационных систем. В результате они научились строить и использовать в отчетах несложную инфографику: дашборды, графики, диаграммы и т.п. На среднем уровне уже охватываются методы обработки текстовых данных из первичных документов – извлечение с помощью лингвистических правил и словарей сущностей и концептов из договоров, платежных поручений, актов, протоколов, доверенностей и др.

На продвинутом уровне сотрудники познакомились с программной библиотекой pandas на языке Python, которую называют «Excel XXI века». По итогу этих уровней слушатели умеют проводить несложную текстовую аналитику по большим массивам документов. На расширенном уровне осваиваются новейшие методы искусственного интеллекта – модели-трансформеры и трансферное обучение в обработке естественного языка.

По итогам обучения на всех уровнях инспекторы готовили индивидуальные и групповые учебные проекты, непосредственно связанные с их рабочими задачами. Результаты многих проектов вошли в отчеты Счетной палаты о проведенных контрольных и экспертно-аналитических мероприятиях. Например, группой из трех инспекторов была обучена нейронная сеть-трансформер на нормативно-правовых актах и применена в ходе антикоррупционной экспертизы планов федеральных органов исполнительной власти. Новый подход существенно снизил сроки проведения экспертно-аналитического мероприятия – с 90 до трех дней.

— Если говорить о следующем курсе, то роль дата-стюардов пока еще является экзотикой.

Действительно, внедрение роли дата-стюардов в деятельность Счетной палаты стало уникальным опытом в организации работы с данными в деятельности государственных органов аудита, да и остальных государственных органов. Наши дата-стюарды – сотрудники направлений аудита, ответственные за поиск, сбор, обработку и использование данных. Они определяют источники получения данных и необходимость доступа к ним, необходимые виды данных, содержащиеся в источниках данных. Они же формируют в системе управления данными паспорта объектов данных, карты данных и требования к загрузке исходных данных, требования к витринам данных, определяют периодичность сбора, загрузки и обработки обновлений исходных данных.

Образовательный трек для дата-стюардов разработан на период 2021-2022 годы в соответствии с профилем роли. Курс разделен на триместры, занятия проходят еженедельно. Его особенность – последовательное погружение инспекторов в разные области знаний, связанных с управлением данными.

Дата-стюарды овладели знаниями по поиску, сбору, систематизации данных из различных источников, научились поддерживать наборы данных в актуальном состоянии. Спецификой курса является также система получения практических навыков: выполняя домашние задания в рамках курса, дата-стюарды постепенно наполняют наше озеро данных «живыми» кросс-функциональными наборами данных, а систему управления данными – описанием востребованных в проверках источников данных и наборов данных.

— Вероятно, третий курс – «Работа с аналитическим инструментом PolyAnalyst» – самый «легкий» с точки зрения длительности обучения.

Потребность в таком курсе возникла в связи с высокой загрузкой инспекторского состава, а также сложностью с привлечением на работу в госорган дорогостоящих технических специалистов и дата-сайентистов. Сотрудники, задействованные в проверках, не располагают временем на продолжительную учебу и программирование, да и набор аналитических задач для таких проверок – в целом типичный. Требуются инструменты, позволяющие решать текущие задачи по обработке больших наборов данных «здесь и сейчас». Поэтому нами была выбрана стратегия использования low-code/no-code инструментария, позволяющего решать большинство аналитических задач без программирования, тем самым снижая «порог входа» в аналитику данных для обычных сотрудников, не имеющих специализированной технической подготовки. Некоторые инструменты осваиваются инспекторами самостоятельно по специально разработанным руководствам по работе с ними. Но для наиболее сложного из таких инструментов – аналитической платформы PolyAnalyst – был разработан специальный курс.

Эта платформа принята у нас в качестве базового универсального инструмента для анализа всех видов данных и визуализации результатов работы с данными, поэтому навыки работы с ней необходимы и инспекторам из направлений аудита, и дата-стюардам, и другим сотрудникам. В рамках программы подготовки был разработан специальный курс обучения PolyAnalyst для всех заинтересованных специалистов, включающий три уровня: начальный, средний и продвинутый. Он позволяет приобрести такие навыки, как импорт данных и операции с данными, основы анализа и классификации данных, регрессионный анализ и кластеризация, основы обработки текстовых данных. Кроме того, изучается язык поисковых запросов Pattern Definition Language (PDL), классификация и кластеризация текстов, таксономия, а также язык, предназначенный для описания определений и реализаций процессов eXtended Pattern Definition Language (xPDL).

Так, выпускники начального уровня приобретали навыки по объединению в PolyAnalyst данных из нескольких источников, агрегированию и визуализации данных. На среднем уровне слушатели осваивали более сложную аналитику, — в частности, статистический и текстовый анализ. На продвинутом уровне сотрудники Счетной палаты получили профессиональную специализацию «лингвист-аналитик», изучив углубленные и сложные правила xPDL и PDL для обработки аудиторских документов.

— С какими источниками данных и инструментами (кроме PolyAnalyst) приходится иметь дело специалистам Счетной палаты?

Источников данных очень много. Исходя из специфики нашей работы, главным образом, это различные ГИС – системы в сфере управления общественными финансами, системы типовой деятельности федеральных органов исполнительной власти, системы документарной деятельности, системы в сфере управления материальными и нематериальными активами.

Помимо платформы PolyAnalyst, используем инструменты BI и data science из числа свободного программного обеспечения – Metabase, Python и дополнительные библиотеки по работе с данными, RStudio, JupyterLab, LabelStudio, streamlit, а также инструменты анализа баз данных pgAdmin, DBeaver, Arenadata DB, Arenadata Hadoop.

— Как и по каким критериям осуществляется отбор инспекторов для обучения? Как мотивируете повышать квалификацию?

Мы не ставим барьеров. На «начальный» уровень подготовки может прийти любой желающий. На следующие уровни также могут приходить все желающие, но там уже чисто объективно не все могут с ними справиться. Условно можно сказать, что происходит «естественный отбор» –например, на самом высоком четвертом уровне необходимы знания математики, достаточные для понимания того, как работают нейронные сети, а это не каждому под силу. Но, как я говорил раньше, далеко не всем инспекторам необходим максимальный уровень, – наверное, таких лишь 5% от всей численности.

Специальной мотивации для повышения квалификации нет: как показывает практика, этого и не нужно. Сотрудники и сами прекрасно понимают, что данное обучение повышает их ценность как специалиста, дает уверенность в будущем, что в наше время очень важно. Ну а того, кто этого не понимает, мотивировать бесполезно и бессмысленно.

— Скольких специалистов удалось подготовить?

Курс «Практика цифровой трансформации» прошли 370 специалистов, это 65% сотрудников аудита. 85 из них обучены по расширенному курсу. Систему PolyAnalyst изучили 210 сотрудников. В рамках образовательного трека для дата-стюардов обучено 60 дата-стюардов и 10 инспекторов.

— Какие достигнуты результаты? Что из этого вы считаете наиболее важным?

По итогам реализации КППС в Счетной палате в четыре раза выросло количество аналитических решений с использованием новых методов и инструментов анализа данных. Если в 2020 году их было 16, а в 2021 году – 31, то в 2022 году их число достигло 80. Кроме того, значительно увеличилась – до 70% – доля самостоятельных решений, созданных инспекторами аудиторских направлений без менторской поддержки Департамента цифровой трансформации. При этом по 11 цифровым решениям достигнута их повторяемость и масштабируемость в различных бюджетных циклах и аудиторских направлениях. Появились и первые решения с использованием методов искусственного интеллекта.

Например, в ходе проверки выплат адвокатам по назначению инспектор разработал лингвистическое правило, позволившее извлечь информацию из поля «Назначение платежа» в платежном поручении. После обработки почти 1 млн платежных поручений были обнаружены транши 424 адвокатам с признаками нарушений на общую сумму 20,7 млн руб. Увеличилось количество объектов контроля в 10 раз, а сам процесс анализа первичных документов по выплатам адвокатам сократился по времени в 7 раз.

В 2021 году Счетная палата выиграла конкурс на проведение внешнего аудита Организации Объединенных Наций по промышленному развитию (ЮНИДО). В ходе этой проверки слушатели программы обучения применили свои знания на практике, проведя анализ Journal Entry Testing для выявления мошенничества с финансовой отчетностью. С его помощью удалось отобрать аномальные бухгалтерские транзакции в зоне повышенного аудиторского риска.

Образовательный контент, созданный и апробированный в ходе реализации КППС, начал использоваться в международных образовательных программах – в Университете высших органов аудита при сообществе ИНТОСАИ.

Важно, что для подготовки аналитических решений инспекторы и дата-стюарды самостоятельно находят в Системе управления данными и описывают нужные для работы данные, формируют структуры кросс-функциональных витрин данных и ставят задачи на их загрузку данных в озеро данных.

— Какие наиболее масштабные цифровые решения удалось построить?

В общей сложности нашим сотрудникам удалось реализовать более 120 кейсов по анализу данных.

Ярким проектом стал автоматизированный анализ статистической отчетности ФНС России. В его рамках сотрудниками департамента аудита доходов организовано автоматическое извлечение показателей статистической отчетности ФНС и построение временного ряда за пять лет. Более 2 тыс. показателей сведены в единую аналитическую таблицу, в том числе при помощи лингвистического анализа. Это позволило примерно в 10 раз снизить трудозатраты на проведение анализа статистической отчетности ФНС.

Еще один пример – мониторинг федерального недвижимого имущества. Новые знания и умения позволили сотрудникам реализовать геопространственную и визуальную аналитику объектов федерального недвижимого имущества, арендованного и сданного в аренду, по уровню арендной ставки. В результате, в частности, были выявлены существенные аномалии в распределении уровня арендной ставки.

Наконец, стоит отметить разработку цифрового решения «Государственный долг субъектов Российской Федерации». Используя навыки работы с PolyAnalyst, сотрудники департамента аудита финансовых рынков и государственного долга создали интерактивный инструмент мониторинга и анализа данных о госдолге регионов. Он включает в себя виджеты с табличным и графическим представлением аналитической информации об объеме, структуре и динамике совокупного государственного долга субъектов РФ и муниципальных образований, об объеме и структуре долговых обязательств регионов.

— В чем роль запущенного образовательного проекта для Счетной палаты?

Для нас было крайне важно внедрить практику непрерывного обучения и профессионального развития сотрудников в соответствии с принятыми моделями и профилями компетенций. Этот результат является основой для системной реализации ключевых направлений развития Счетной палаты и достижения стратегической цели по повышению качества государственного управления.

Еще раз подчеркну, что введение роли дата-стюардов, а также формирование модели компетенций и программ обучения инспекторов и дата-стюардов является уникальным опытом в организации работы с данными в деятельности не только государственных органов аудита, но и остальных государственных органов в России.

Наличие у сотрудников Счетной палаты знаний и умений, приобретенных в ходе реализации КППС, позволило значительно повысить производительность и качество их труда. Повысились компетенции инспекторов аудиторских направлений по сбору и анализу данных, по оценке государственных программ и политик, развитию доказательных методов аудита. Расширилось применение новейших методов и инструментов анализа данных, что улучшило качество и актуальность рекомендаций по результатам аудита, минимизировало время сбора аудиторских доказательств, довело на некоторых мероприятиях количество проверяемых объектов до 100%.

— Пытаетесь ли оценить финансовую эффективность работы программ обучения?

Конечно. В нашем случае напрямую в деньгах эффект оценить вряд ли получится, но о том, что подготовленные инспекторы экономят огромное количество времени за счет применения нового аналитического инструментария, говорить можно — и речь идет о тысячах человеко-часов за год. Эффект заключается также, например, в том, что вместо десятков документов или транзакций сотрудник может анализировать тысячи и десятки тысяч, или находить какие-то закономерности, аномалии, которые невооруженным взглядом выявить невозможно. Также инспектор может вывести результаты в виде наглядной инфографики, необходимой для подготовки качественных выводов по итогам работы. То есть можно говорить о принципиально другом качестве результата, который сложно оценить в деньгах.

— Есть ли планы развития программы – например, охват каких-то других направлений подготовки?

Реализация основных запланированных этапов программы завершается, дальше мы будем говорить о ее «тюнинге» — большей ориентации на следующих этапах на решение каких-то частных вопросов применения инструментов и технологий, возникающих уже по итогам практического применения уже освоенного материала.

В октябре издательство «Открытые системы» объявило о запуске Data Award 2023 — пятого сезона премии для data-driven-организаций и директоров по данным. Николай Смирнов, председатель оргкомитета премии Data Award, поговорил с нами о «кухне» проекта, рассказал о развитии премии и дал несколько рекомендаций будущим участникам.

- Только что стартовал очередной сезон премии Data Award. Что вы ожидаете от него?

Вероятно, изменится «типичный портрет» участника. Еще на церемонии 2022 года Лариса Малькова, управляющий директор Axenix и один из членов экспертного совета Data Award, отметила, что ей крайне любопытно, с какими проектами компании выйдут в следующем году. Многие из представленных тогда решений являлись наработками прошлых лет и были начаты еще в относительно спокойное время. Сейчас практически все столкнулись с уходом с рынка зарубежных вендоров, на решениях которых базировался ландшафт работы с данными. Компании вынуждены на это реагировать.

Кроме того, с каждым годом у нас все больше инновационных проектов, представленных небольшими стартапами, в том числе имеющих социальную направленность. Представившие свои проекты «Велогород.online», «Атлас НКО», Joys на равных соперничали с такими гигантами, как «Сбер», «Северсталь» и X5. Скорее всего, эта тенденция сохранится и сейчас. Благодаря значительной господдержке подобных инициатив мы имеем возможность видеть, что в мире действительно много энтузиастов, пытающихся делать жизнь людей лучше.

- Каждый год происходят неожиданности. Что стало сюрпризом в прошлом году и какие эмоции это вызвало?

Нас удивило беспрецедентно большое число заявок на участие, причем подавляющее большинство из них пришли в течение последних трех суток перед дедлайном. В результате мы были вынуждены на ходу ужесточать отбор, и из 87 участников допустили только 60. Но даже это число в полтора раза больше, чем в предыдущий год, и такой объем работы проверил нас, как оргкомитет, на прочность, а экспертный совет — на терпение.

Несмотря на все трудности, мы были рады такому интересу со стороны data-сообщества. Интерес к премии Data Award с каждым годом увеличивается, она становится престижной. И даже сам статус участника растет.

- Чего нового можно ожидать участникам и их болельщикам в новом сезоне?

У нас появятся две новые номинации с рабочими названиями «За антикризисный проект» и «За взгляд в будущее». Первая посвящена борьбе с напастями 2022 года, а вторая — проектам на грани сумасшествия, нескольким из которых нам пришлось отказать в прошлый раз. Например, так произошло с томской компанией «Орграф», представившей проект реализации цифрового бессмертия человека. Мы отклонили их заявку по причине отсутствия хотя бы MVP продукта, но, вероятно, у них будет возможность рассказать о себе в этом году.

- Кому имеет смысл принимать участие в конкурсе?

У нас нет жестких ограничений по направленности проектов, их масштабам и значимости. Главное требование — наличие результатов, готовность о них рассказать и поделиться с сообществом своим опытом. Конечно же, чем ярче и необычнее проект, тем выше вероятность того, что он зацепит членов экспертного совета. Скажем, компания «СМАРТС», построившая систему акустического мониторинга автодорог, позволяющую в режиме реального времени «слышать» дорожные события и реагировать на них, оказалась в числе лауреатов Data Award 2022 именно из-за этого.

Кроме того, важно, чтобы проект представлял профильный руководитель, способный полноценно и интересно рассказать о нем, а не сотрудник отдела маркетинга или пресс-службы. Члены экспертного совета, оценивая номинантов, ориентируются не только на саму заявку, но в первую очередь на интервью, да еще и могут задавать дополнительные вопросы. А эксперты — как и журналисты — люди опытные, они сразу понимают, кто с ними разговаривает: фактический лидер проекта или специалист по коммуникациям. Нам нужны настоящие герои, а не их парадные портреты.

Поскольку премия учреждена медиакомпанией, в выигрыше неизменно оказываются те, кто не только реализуют суперпроекты, но и рассказывают о них, популяризируя профессию. В прошлом году были обидные эпизоды, когда в ситуации цейтнота или просто из-за недостаточного внимания к этой части работы, формального к ней отношения очень сильные заявки оказались смазанными. Фактически они стали холостыми выстрелами.

- Может ли один и тот же проект участвовать в нескольких номинациях?

Да, это вполне возможно. Но практика показывает, что реальные шансы на успех компания имеет лишь в какой-то одной номинации. Имеет смысл оценить свои сильные и слабые стороны и представить проект так, чтобы он максимально соответствовал критериям оценки той номинации, где шансы наиболее велики.

- «А судьи кто?»

Мы гордимся нашим экспертным советом, костяк которого с нами уже пятый год. Это действительно компетентные профессионалы высокой квалификации, хорошо известные на рынке люди, которые вносят большой вклад в развитие отрасли данных в России.

- Есть ли лайфхаки, которые могут поднять шансы на победу?

Во-первых, еще раз повторю совет сфокусироваться на какой-то одной номинации. «Осознанные» участники, четко представляющие, по какой номинации идут, и понимающие, каким образом надо подать свой проект, по определению имеют преимущество.

Во-вторых, рекомендую серьезно отнестись к заполнению анкеты участника. Она не используется напрямую при оценке номинантов, но становится фундаментом для интервью, которое и является «конкурсной работой». Само интервью, конечно, играет ключевую роль. Чем более живыми и интересными будут ответы, тем больший отклик оно найдет у экспертного совета.

И наконец, не тяните до дедлайна! Чем раньше подана заявка, тем больше внимания оргкомитет и эксперты смогут уделить ей — это объективная реальность. И чем больше времени на подготовку интервью и на его внимательное прочтение, тем больше шансов на высокую оценку.

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

В 2020 году компания Azercell создала умное озеро данных, которое было призвано стать надежным поставщиком данных и вывести на новый уровень возможности их обработки. Амбициозность задач демонстрирует название проекта: «Стать центром ИИ и аналитики Азербайджана». С помощью мощной платформы компания отслеживает многие процессы в реальном времени, но главным достижением стало то, что люди действительно принимают решения на основе получаемых данных. Об истории и подробностях этого проекта рассказал Азад Гусейнов, директор департамента больших данных и Аналитики компании Azercell.

— Расскажите об истории создания в Azercell умного озера данных.

Создание умного озера данных было начато в марте 2019 года. Наша цель заключалась в том, чтобы предоставить бизнесу больше источников данных, необходимых для анализа. Мы начали создавать озеро данных параллельно с подготовкой среды машинного обучения и развития искусственного интеллекта. С самого момента запуска озеро данных было интегрировано в эту среду.

Кроме подключения различных источников и колоссальных возможностей обработки данных, мы также ввели возможности обработки и анализа данных в режиме реального времени. Сейчас компания, используя созданную платформу, отслеживает свой общий ежедневный доход с 15-минутной задержкой.

— Чем, с вашей точки зрения, умное озеро данных отличается от «обычного»?

Наше умное озеро данных не используется в качестве фиктивного хранилища данных. Оно используется в качестве надежного поставщика данных и платформы для распределенной обработки данных и работы моделей машинного обучения.

— Какие были поставлены цели перед проектом?

Цель состояла в том, чтобы включить множество ценных источников данных, иметь возможность отслеживать все ключевые показатели эффективности практически в реальном времени. Еще одной важной целью было создание культуры Data Governance внутри организации.

После этого мы нацелились на прямую и косвенную монетизацию всего проекта. На основе информации, извлеченной из озера данных, были созданы многие процессы машинного обучения, а также боты.

— Сколько времени и какими силами реализовывался проект?

Начальная фаза проекта в целом заняла 12 месяцев, из которых два месяца ушло на развертывание и перенос данных. Остальное время проекта было потрачено на создание конвейеров потоковой передачи и пакетной обработки. Проект был реализован собственными силами, без каких-либо внешних консультаций и поддержки.

— Какие платформы были использованы?

Среда озера данных создана на основе технологий с открытым исходным кодом — с использованием предоставленного Cloudera дистрибутива Hadoop, Apache Kafka, Apache Nifi. Мы разработали нашу отдельную среду машинного обучения и искусственного интеллекта (сервер рабочих станций) на основе технологий и библиотек с открытым исходным кодом и интегрировали ее в качестве граничного узла в наш кластер озера данных.

Кроме того, для выявления аномалий в данных используется модуль Informatica Data Quality, а для визуализации применяются средства Tableau.

— Что в ходе проекта было самым сложным?

Самой сложной частью всего процесса было формирование видения и миссии всего проекта. Мы должны были определиться, кем хотим быть и что хотим получить в итоге. В результате мы назвали проект «Стать центром ИИ и аналитики Азербайджана», и это стало маяком для всех нас.

— Каких результатов удалось достичь, какие из них вы считаете наиболее важными?

Для принятий решений нами используется достоверная, качественная информация. Все данные, которые занесены в платформу, отслеживаются и при наличии аномалий исправляются. Тем самым обеспечивается достоверность данных в реальном времени, что дает возможность выполнять точные расчеты. Например, сведены к нулю ошибки при оплате, калькуляциях и прочих процессах. Повышение качества обслуживания абонентов.

Кроме того, произошло ускорение time-to-market за счет качественных данных в реальном времени. Рост скорости принятия решений составил до пяти раз.

Но главное достижение — видеть, как люди принимают решения на основе данных, которыми мы их снабжаем. Они достигают реальных целей компании, снижают отток, увеличивают средний доход на пользователя и т.д.

— Приведите пример проекта, который принес заметный результат и стал возможен благодаря внедрению умного озера данных?

На базе озера данных была запущена программа лояльности. Всего за месяц удалось увеличить количество пользователей приложения Azercell на 400%. Мы гордимся этим результатом.

— Пытались ли оценить совокупный финансовый результат от внедренного решения? Ускорение и точность решений, сокращение ТТМ, уменьшение оттока клиентов имеют вполне исчислимые эффекты.

Дополнительный доход составляет 0,5% от общего дохода Azercell в 2021 году. Кроме того, на 25% сократился показатель оттока клиентов.

— В каком направлении будет развиваться озеро данных?

Недавно мы согласовали нашу дорожную карту озера данных с целью превратить его в готовую к выходу в облако платформу данных с использованием последних технологий (таких как Delta, Apache Iceberg), а также контейнеризации. Это позволит нам выполнять любые задачи с данными в гибридном облаке и в локальной среде. Мы также планируем внедрять и использовать только инструменты и программное обеспечение с открытым исходным кодом, что также снизит общую стоимость владения нашей будущей платформы данных.

Высокая конкуренция на рынке розничного страхования побудила компанию «Ингосстрах» к выходу на новый уровень взаимодействия с клиентами. Осознав клиентскую базу как ценный актив, руководство компании создало Центр работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами. О реализации проекта рассказывают номинанты на премию Data Award: Иван Матвеев, первый заместитель генерального директора, Евгений Климов, начальник управления координации продаж и развития отношений с клиентами, и Сергей Мруз, директор департамента онлайн-бизнеса и развития отношений с клиентами компании «Ингосстрах».

— Когда в компании появился Центр работы с большими данными, какова история его создания?

Сергей Мруз: Центр работы с большими данными появился в июне 2020 года, одновременно с созданием департамента онлайн бизнеса и развития отношений с клиентами. В качестве одной из ключевых стратегических задач компания определила развитие клиентоцентричности. Нам нужно лучше понимать, кто наш целевой клиент, какие у него потребности, какие каналы взаимодействия он предпочитает, каким образом реагирует на скидки или повышение цены и т.д. Надо признать, что до тех пор «Ингосстрах» ориентировался скорее не на клиентов, а на договора в системах, а функция клиентоцентричности в значительной степени перекладывалась на агентов.

— Какие «боли» бизнеса привели к столь радикальным изменениям?

С.М.: Руководством «Ингосстраха» была поставлена задача увеличения уровня пролонгации договоров и проникновения продуктов, данное направление воспринималось как явная зона роста. Это подразумевало выход на новый уровень взаимодействия с клиентами. Одним из недоиспользуемых активов оказалась клиентская база: в силу специфики розничного страхования, общение с клиентами происходило только в реактивном режиме – во время их обращений в компанию. Более того, при этом оно происходило не напрямую, а по большей части через посредников.

Осознав клиентскую базу как ценный актив, мы инициировали проект по созданию Центра работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами, а также за счет сокращения клиентского пути в каналах продаж

— Центр работы с большими данными охватил только работу с клиентами или внутренние аналитические процессы тоже?

С.М.: Аналитика клиентов является нашим приоритетом, но также анализируются и другие процессы – например, мошенничество, урегулирование убытков, пролонгация, тарифы и т.д.

— Какие данные используются для работы?

Евгений Климов: Сейчас мы используем социально-демографическую информацию по клиентам, историю их покупок, историю страховых событий, информацию по имуществу клиентов из внутренних источников и открытых внешних источников. При этом была проделана большая работа по перестройке принципов и логики хранения данных страховщика: информация, ранее хранившаяся в разрезе договоров и убытков, была сведена на уровень клиента. Ведутся работы в рамках отдельного направления работ по созданию «золотой записи» клиента группы «Инго».

В основу системы, построенной с целью консолидации и монетизации данных о миллионах наших клиентов, легли решения SAS – от сбора и очистки данных по клиентам, в том числе информации о результатах коммуникаций с ними, до оптимизации целевых маркетинговых кампаний, таргетирования и предрасчета предложений.

— Что включал объем работ и какое время на это потребовалось?

Е.К.: Развертывание всех модулей и первичная интеграция аналитики в бизнес-процессы заняли 15 месяцев. За это время были реализованы трудоемкие процессы по верификации, валидации и обогащению клиентских данных, консолидации информации с уровня договора на уровень клиентов, построены витрины данных, настроены предрасчеты кросс-предложений, на исторических данных построены математические модели сегментации клиентской базы и персонализации предложений, модели прогноза отклика. Также были автоматизированы или модернизированы процессы, влияющие на удобство совершения покупки клиентом, включая калькуляторы страховых продуктов на сайте, автоматическое выставление счета в коммуникациях на пролонгацию договора и систему маршрутизации лидов.

В ближайшее время планируется к реализации операционный CRM, подсистема персонализации кросс-предложений, а также репозиторий кросс-предложений для клиентов всех компаний группы «Инго».

— Какие проблемы при создании аналитической платформы потребовалось решить, что было самым сложным?

Е.К.: Ключевые проблемы, с которыми мы столкнулись: сложность внутренних процессов и систем, проблемы с качеством данных, технические ограничения системы – например, отсутствие возможности масштабировать формирование предварительных расчетов для клиентов. Кроме того, требовалась интеграция с множеством каналов взаимодействия с клиентами.

— Масштабные изменения в процессах компании почти всегда требуют культурной перестройки…

Иван Матвеев: Для развития культуры работы с данными мы совместно со специалистами из школы «Яндекса» и Сибирского федерального университета разработали программу подготовки специалистов в области Data Science. Она запущена на постоянной основе на базе СФУ (Красноярск) и ИГУ (Иркутск).

Текущая программа охватывает специальность data scientist и предполагает подготовку специалистов уровня junior, так как большинство студентов зашли в программу с нулевыми знаниями в этой области. Ведется работа по расширению программы и подготовке data-аналитиков и data-инженеров.

— Каковы потребности компании в специалистах и какова «мощность» программы?

И.М.: Наши потребности в data-специалистах постоянно растут, текущая оценка более 50 специалистов по группе компаний «Инго». Рассчитываем на выпуск примерно 30-40 специалистов в год. Первый поток программы в Красноярске завершается в апреле, в Иркутске – в мае. На обучении сейчас суммарно более 70 человек

— Каких результатов уже удалось добиться?

И.М.: Внедрение аналитических решений помогло нам перестроить процессы целевого маркетинга и вывести на новый уровень культуру работы с клиентскими данными. Мы смогли перейти от реактивного подхода, когда работа идет над входящими обращениями от клиентов, к проактивным персонализированным коммуникациям, когда компания сама создает точки контакта с клиентами и делает предложения, адаптированные под их потребности. Проект уже оказал большое влияние на смежные бизнес-направления внутри финансовой группы «Инго» и способствует развитию страховой экосистемы «Ингосстраха», в рамках которой на первом этапе предполагается запустить кросс-продажи продуктов компаний группы объединенной базе клиентов группы, а на втором – развить продажи продуктов и сервисов от других партнеров.

— Какой из результатов вы считаете наиболее показательным?

И.М.: Очень важно, что проект помог перейти к проактивным продажам, повысить эффективность процессов перекрестных продаж (X-sell) и повысить удобство приобретения полисов для клиентов. Совершенно очевидно, что предложение X-sell должно быть релевантным и доступным во всех каналах продаж, а процесс оформления продукта должен быть коротким, понятным и удобным для клиента. Если же у клиента появляются какие-то вопросы, вся информация по сделанному ему предложению должна быть наготове у сотрудников во всех каналах взаимодействия с клиентом.

— Каковы финансовые эффекты?

И.М.: С помощью аналитического CRM за год апробации подходов к монетизации клиентской базы было запущено более 1,2 тыс. целевых кампаний и направлено более 10 млн коммуникаций. Это позволило получить дополнительные продажи на несколько миллиардов руб. Собственно, главной целью проекта и было повышение кросс-продаж добровольных видов страхования и уровня пролонгации договоров.

Кроме того, нами были организованы процессы по продажам продуктов компаний группы «Инго» (банк «Союз», ИГС-Ж, ИГС-Инвестиции и т.д.). Суммарные продажи на конец 2021 года достигли 700 млн руб. Ранее по этим направлениям не делались целевые маркетинговые предложения, а теперь компания проходит сквозь процесс проработки всех элементов воронки продаж и настройки процессов для дальнейшего масштабирования.

— В каком направлении будет развиваться проект?

И.М.: В финальной стадии реализации находится система Next Best Offer для ключевых каналов продаж. Развивается подсистема приоритезации кросс-предложений на основании ожидаемой доходности от контакта. Одновременно с этим идут автоматизация процессов актуализации клиентских данных и работы по созданию централизованного репозитория кросс-предложений для клиентов всех компаний группы «Инго».

«АльфаСтрахование» продолжает внедрение моделей машинного обучения в бизнес-процессы. В компании запущены модели тарификации и определения эластичности спроса, модели Next Best Offer, оценка на мошенничество как до заключения договора страхования, так и в процессе урегулирования убытка. О реализации таких проектов рассказывает Александр Логачев, CDO компании «АльфаСтрахование», номинанта на премию Data Award.

— Какова история работы с данными в компании?

Страхование – эта отрасль, которая работает благодаря статистике и данным, поэтому можно сказать, что работать с данными компания начала с самого начала своего существования, с 1992 года. С 2010 года для аналитики в компании используется QlikView. С 2019 года мы обратили внимание на использование инструментов open source для работы с данными на базе платформы Hadoop.

— В какой момент в компании появились модели машинного обучения? Что стало причиной, на что рассчитывали?

Первые модели машинного обучения начали использоваться в компании для решения задач тарификации в 2014 году – это довольно мощные и специфичные для страхования линейные модели (Generalized Linear Models, GLM). В 2020 году компания стала использовать нелинейные модели на основе градиентного бустинга на деревьях решений. Основное их отличие – возможность учитывать локальные особенности и закономерности, что существенно повышает точность предсказаний.

— Какие самые сложные проблемы потребовалось решить в ходе проекта?

У нас много задач, которые решаются с помощью машинного обучения – например, для тарификации основным вызовом является проведение ретро-анализов с внешними данными и идентичное ретро-тестам применение модели в «боевых» условиях. Для задачи скоринга крупных убытков основной трудностью было получение статистики из исторической базы в режиме реального времени, а также оптимизация скорости ответа, так чтобы уложиться в 50 мс. Для задачи антифрода непростым стало внедрение модели в решение SAP и ее встраивание в бизнес-процесс.

— Какие платформы используются, почему они выбраны?

Мы используем различные платформы в зависимости от решаемых задач. Например, использование Emblem является общепризнанной практикой для моделей тарификации в страховании. Кроме того, применяем открытые решения Hadoop/Spark, Atlas, Feast, MLFlow как весьма эффективные инструменты для работы с данными.

— В какие процессы включены модели машинного обучения?

Модели машинного обучения используются в задачах тарификации, скоринга крупных убытков, определении мошенничества, модели Next Best Offer и других.

— Как именно изменились эти процессы?

Например, тарификация в ОСАГО перешла на индивидуальный уровень – то есть для каждого клиента и его автомобиля тариф рассчитывается отдельно на основании большого количества факторов.

Для определения мошенничества на этапе урегулирования убытков автоматически выявляются «подозрительные» признаки. Наше подразделение по борьбе с мошенничеством фокусируется на проверках именно таких убытков.

Модели Customer360 и CVM (максимизация ценности для клиентов) позволяют использовать накопленные и внешние данные для улучшения предложения клиенту – за счет рассылки таргетированных предложений или рекомендаций агенту по продуктам, подходящим для конкретного клиента.

— Каких результатов удалось добиться? Как это соотносится с ожиданиями?

Показатели по коэффициенту убыточности существенно улучшились за счет применения различных моделей, что позволяет компании зарабатывать дополнительно несколько сотен миллионов рублей в год. Предиктивность моделей позволяет оценивать эффект до их внедрения и на практике приходить к прогнозному эффекту.

В целом модель тарификации дала возможность предоставить индивидуальные цены и улучшить рентабельность бизнеса, модель определения вероятности мошенничества – найти новые, неочевидные случаи мошенничества, а модель Next Best Offer – увеличить эффективность рассылок и повысить продажи.

— Где машинное обучение показало наибольшую эффективность?

Наибольшую эффективность машинное обучение в страховании показало в индивидуальной тарификации и управлении портфелем. Есть известное правило, что если машинное обучение работает хуже человека, то это мы не доучили модель или недоучли факторы.

— Было ли в проектах то, что вас удивило?

Удивило открытие, что продавцы стараются подбирать набор параметров для максимального удешевления стоимости полисов. Это далеко не всегда заложено в изначальные модели. Поэтому нам пришлось реализовывать ответ на данный вызов и учитывать контекст принимаемого решения.

— В каком направлении будет развиваться машинное обучение в «АльфаСтрахование»?

Мы планируем улучшать модели, добавляя новые факторы, совершенствовать используемые алгоритмы для рекомендаций продуктов. Кроме того, будем использовать модели машинного обучения в других задачах.

В онлайн-кинотеатре ivi запущена аналитическая платформа, призванная сократить временные и финансовые издержки, связанные с получением отчетности. Компании требовалось обеспечить корректное, эффективное и быстрое перемещение и преобразование данных для их последующего использования в критически важных процессах подготовки отчетности. О реализации этого проекта рассказывает Дмитрий Антонов, руководитель отдела технической аналитики ivi, номинант на премию Data Award.

— Компания всегда уделяла внимание аналитике пользователей. Неужели внутренняя аналитика при этом проседала? Почему потребовались дополнительные усилия в этом направлении?

По сути сама аналитика не проседала, просто на сбор нужных данных для построения регулярных отчетов и решению других аналитических задач уходило достаточно много времени. Некоторые решения были не автоматизированы, данные загружались аналитиками в песочницу, доверие к таким данным было не очень большим. Команды, которые помогали в доставке данных в хранилища, были разрозненными, а инструменты – не стандартизированными.

— Какие задачи требовалось решить?

В первую очередь это консолидация потоков данных между источниками и хранилищами в одном месте. Требовалась единая платформа и единая команда.

Нужна была платформа, которая хорошо себя зарекомендовала и была стабильна, так как у нас были планы выхода на биржу и ставились определенные требования по прохождению аудита в части загрузки данных и инструментов, которые мы для этого используем.

— Почему возникли проблемы с доверием бизнеса к данным? Ведь это цифровой бизнес, он изначально построен на данных.

Бизнес очень быстро рос и развивался, источники часто и быстро менялись, менялась логика. Часто данные с момента получения от источника до представления конечному потребителю теряли актуальность. Также не все данные, которые использовались для принятия решения, проходили полный цикл валидации, аналитики загружали что-то в песочницу и строили отчетность без необходимой проверки.

— Какие платформы были выбраны и почему?

Была выбрана Informatica Power Center как стабильное решение. В ходе пилотного проекта она показала возможность подключаться к основным нашим источникам и умение работать с нашими хранилищами. Важно было выбрать готовый инструмент, который не надо значительно адаптировать под нашу среду, чтобы запустить новые переливки данных и мигрировать текущие переливки в достаточно сжатые сроки.

— Что в ходе проекта было самым сложным?

Пришлось налаживать основные процессы разработки практически с нуля, так как и команда, и платформа были новыми. Они работают параллельно с уже устоявшимися решениями.

— Какие были достигнуты результаты?

Нам удалось перенести ряд ключевых для бизнеса заливок из источников, увеличив оперативность поступления данных. Выстроен процесс разработки в новой команде вокруг нового для нас инструментария. Кроме того, налажена обработка потока новых задач и упрощена доработка существующих.

— Как с появлением платформы изменились процессы принятия решений?

В ряде ключевых процессов, связанных с финансовой отчетностью, бизнес смог отказаться от ручного ввода данных и перейти на данные, поставляемые из источника в хранилище. До того эти данные либо не поставлялись, либо поставлялись с большой задержкой, что было недопустимо в данном случае.

— Какие вы видите направления развития аналитической платформы?

Планируем большую автоматизацию процессов, чтобы решать типовые процедуры максимально быстро с минимальным вовлечением разработчиков и администраторов. Будем проводить дальнейшую миграцию загрузок на новую платформу, ускорять поступление и обогащать данные, чтобы бизнес получал больше информации, которая была ранее недоступна.

В фармацевтической компании BIOCAD запущена уникальная программа для подготовки редких специалистов в области статистического программирования. Ее выпускники смогут закрыть актуальные кадровые потребности компании и будут востребованы на рынке фармацевтики и биотехнологий. О реализации этого образовательного проекта рассказывают номинанты на премию Data Award – Юлия Линькова, заместитель генерального директора по клинической разработке и исследованиям BIOCAD, и Антон Мещеряков, руководитель отдела биостатистики и дата-менеджмента.

— Как появилась эта программа, какова история ее создания?

Юлия Линькова: Идея создания программы появилась в департаменте клинической разработки BIOCAD. Наша компания активно развивается, и вместе с этим растет потребность в новых специалистах, которые смогут вместе с нами реализовывать уникальные проекты. Для выполнения всех запланированных анализов данных клинических исследований требуется больше ресурсов, в том числе кадровых. Поэтому у нас возникла потребность в квалифицированных специалистах, а именно аналитиках, которые умеют программировать на языке SAS. Таких кадров на рынке критически мало, и это вызывало трудности на этапе подбора персонала. Возникла логичная идея: создать проект для молодых специалистов, которым интересна данная сфера, и самостоятельно их обучить.

— В чем заключались проблемы?

Антон Мещеряков: В нашей компании очень высока потребность в SAS-специалистах, имеющих подготовку в области анализа данных клинических исследований, биостатистики, регуляторики и методологии исследований. Период закрытия таких узкопрофильных вакансий значительно дольше, чем линейных. Общеизвестно отсутствие конкретных специализаций для подготовки в вузах и дефицит готовых специалистов, способных сразу включиться в работу над проектами компании. Наблюдается большой компетентностный разрыв между требованиями и реальными навыками соискателей. Все это приводит к высокой конкуренции в индустрии за специалистов и как следствие – их завышенным зарплатным ожиданиям.

— Какие задачи требовалось решить?

Ю.Л.: Основной целью проекта является подготовка грамотных специалистов, знающих язык программирования SAS, которые будут востребованы на рынке биотехнологий и смогут закрыть кадровые потребности компании BIOCAD. Для достижения этой цели мы поставили перед собой ряд задач. Это развитие сотрудничества с лидером в сфере решений для анализа данных, повышение узнаваемости HR- и ИТ-бренда компании, отбор сильнейших участников с высокой мотивацией с помощью конкурсного отбора. Кроме того, требовалось подготовить уникальный образовательный материал с экспертами компании, который может быть переиспользован во внутреннем обучении, и подготовить учащихся к работе в компании, сократив компетентностный разрыв и время на последующую адаптацию. Лучших выпускников мы трудоустраиваем в компанию.

— Что собой представляет школа?

А.М.: Это образовательный проект, созданный нами в партнерстве со специалистами SAS Institute. Обучение рассчитано на пять месяцев и включает как обучение языку программирования SAS, так и фундаментальным знаниям в области клинических исследований, принципам разработки лекарственных препаратов и надлежащей клинической практики, основным документам клинического исследования и международным регуляторным требованиям по предоставлению и анализу полученных данных.

Важно, что обучение имеет практическую направленность и уделяет особое внимание аспектам непосредственного выполнения анализа клинических исследований, где участники работают с реальными данными. Задания включают статистический анализ данных, создание таблиц, листингов, графиков, ETL-операции по созданию базы данных анализа и многое другое. Переключение на реальные задачи после отработки на тестовых базах данных позволяет экономить ресурсы сотрудников отдела биостатистики уже в ходе проекта, так как в данном случае сотруднику BIOCAD остается только выполнить контроль качества после выполнения задания.

Программа разработана «с нуля», с ориентиром на то, кого мы хотим видеть на программе, на каких условиях, под какие задачи, какими будут критерии отбора и траектория обучения. Для проекта были подготовлены уникальные учебные материалы, которые в дальнейшем могу быть использованы для внутреннего обучения действующих сотрудников на площадке корпоративного университета компании.

Анализ данных клинических исследований с помощью решений SAS является отраслевым стандартом для фармацевтики и принимается регуляторами всего мира. Уже в процессе обучения участники проекта привлекаются к реальным задачам и приносят пользу в актуальных проектах клинической разработки.

— Почему именно собственная школа, а не курсы у партнеров?

Ю.Л.: При выборе площадки мы рассматривали различные варианты, но в России нет подобных программ, на базе которых можно было бы реализовать данный проект. В настоящее время SAS-школа BIOCAD не имеет аналогов. Реализация проекта собственными силами позволяет нам выбирать, чему и как мы будем учить, ведь у нас есть конкретное понимание того, какими навыками и компетенциями должен обладать сильный SAS-специалист.

— По каким критериям осуществляется отбор в программу?

А.М.: При поиске кандидатов мы ориентировались на выпускников технических вузов, основной упор был на ИТ-специалистов. Среди требований к участникам можно выделить умение программировать на любом языке, знание английского не ниже pre-intermediate и, конечно же, готовность развиваться и обучаться. Стоит отметить, что опыт работы в фармацевтической сфере у кандидатов не обязателен, так же, как и навыки программирования именно на языке SAS. Мы получили 270 заявок на участие, после выполнения тестового задания до финального собеседования дошло 20 человек, 10 из которых были приняты в программу.

— Число заявок на обучение в 27 раз больше, чем мест. Какова судьба сотрудников, не прошедших отбор, не влияет ли это на их мотивацию?

Ю.Л.: Программа направлена не на сотрудников, а на внешнюю аудиторию. С теми кандидатами, которые не прошли отбор, мы остаемся на связи: приглашаем их к участию в других наших проектах, делимся информацией по открытым вакансиям и, конечно, в случае запуска второго потока, мы будем рады увидеть их в SAS-школе BIOCAD. У сотрудников нашей компании тоже есть возможность принять участие в проекте в качестве преподавателей и наставников, что положительно влияет на их развитие.

— Каковы вообще потребности компании в специалистах SAS?

Ю.Л.: На данный момент по ряду проектов анализом данных клинических исследований занимаются подрядные организации, и мы стремимся к тому, чтобы иметь возможность самостоятельно закрывать все эти задачи. Для этого нам нужно расширять свою команду. При поиске новых кандидатов мы столкнулись с тем, что в России очень мало специалистов с релевантным опытом и знанием языка программирования SAS, существует огромный дефицит рабочих кадров, у специалистов непропорционально завышены зарплатные ожидания и происходит постоянная ротация этих сотрудников между компаниями.

— Какие результаты достигнуты?

А.М.: Нам удалось трудоустроить восемь специалистов: две вакансии были закрыты еще во время проекта, так как двое участников досрочно закончили обучение и были приглашены на постоянную работу в штат компании; после выпускного мы пригласили в штат еще шесть человек. Мы очень гордимся тем, что все 10 участников проекта прошли экзамен уровня Base и получили официальный международный сертификат. После окончания SAS-школы оставшиеся участники смогли попробовать свои силы в сдаче экзамена SAS Advance и шесть из них успешно с ним справились.

Важно и развитие сотрудников компании через преподавание и наставничество: в проект школы вовлечено 28 сотрудников BIOCAD, которые за время курса смогли поделиться своим опытом и знаниями с молодыми специалистами. На основании проведенных опросов для сбора обратной связи у преподавательского состава, работа с молодежной аудиторией и возможность делиться своей экспертизой – одна из дополнительных мотивационных причин работы в компании.

На завершающем этапе обучения участники школы примут участие в анализе реальных данных одного из клинических исследований BIOCAD, результаты которого будут впоследствии использованы для регистрации препарата, который не только принесет прибыль компании, но поможет в улучшении качества жизни и сохранению здоровья тысяч пациентов, страдающих тяжелым заболеванием.

— Пытаетесь ли оценить финансовую эффективность работы школы?

Ю.Л.: Оценить финансовую эффективность проекта можно будет спустя определённое время после его завершения, но у нас уже сейчас есть понимание, что проект экономически выгоден, ведь мы сможем отказаться от услуг некоторых контрактных организаций. Внедрение SAS в обработку огромного массива данных клинических исследований позволяет повысить качество, достоверность и прозрачность расчетов, что значительно снижает риски регуляторных запросов по статистической части. Кроме того, данное ПО позволяет автоматизировать все процессы по созданию листингов, графиков, таблиц для отчетов. Это значительно снижает трудозатраты медицинских экспертов и других сотрудников, вовлеченных в написание больших отчетов (4-8 тыс. страниц), увеличивая скорость работы в 2-2,5 раза – это прямая экономия времени. Более того, это позволяет ускорить подачу документов регулятору для рассмотрения и последующей регистрации инновационных препаратов, в которых так нуждаются наши пациенты. Для нас это очень важно, ведь мы работаем в секторе тяжелых инвалидизирующих нозологий, среди которых онкология, аутоиммунные патологии и другие социально значимые заболевания.

— В чем роль запущенного образовательного проекта для бизнеса компании?

Ю.Л.: Выход фармацевтической компании на новые высокорегуляторные рынки требует соответствия международным стандартам (GMP, FDA). BIOCAD одним из первых начал внедрять в свою работу инструменты аналитики SAS, тем самым повышая престиж российских фармацевтов в мировом сообществе. Создание внутренней программы подготовки редких специалистов позволит компании не зависеть от сложного процесса привлечения опытных специалистов из других организаций, а также от внешних подрядчиков, что обеспечит экономию в десятки миллионов рублей в год.

— Планы развития школы – например, по другим направлениям дата-специалистов и т. п.

Ю.Л.: 11 марта 2022 года у нас состоялся выпускной первого потока школы, сейчас мы планируем обсудить дальнейшую судьбу и развитие проекта.

В 2019 году «Северсталь» начала внедрять машинное обучение в листопрокатном цехе производства трубного проката в Колпине. Сейчас цех можно назвать цифровым: его главный агрегат – листопрокатный стан 5000 – управляется с помощью комплекса моделей на новых скоростях. Проект стал уникальным в металлургии и оказал значительное влияние на повышение эффективности производства. О реализации этого проекта рассказал Борис Воскресенский, директор «Северсталь Диджитал».

— Что стало причиной начала проекта и каким образом была поставлена задача?

«Северсталь» цифровизирует производство и внедрила ряд собственных решений, которые доказали свою эффективность. Конкретно в данном случае мы хотели увеличить производство листопрокатного цеха с помощью цифровых технологий, без значительных капитальных вложений.

Ранее управление главным агрегатом промплощадки – широкополосным прокатным станом 5000 – осуществлялось вручную, и в нем заметно присутствовал человеческий фактор. Операторам приходилось одновременно следить за проходом и качеством металла во избежание дефектов, причем они могли опираться только на свой опыт и измерения, полученные после проката. При определении скорости прокатки не всегда учитывались сортамент продукции и цикличность проката, поэтому показатели были занижены и стан работал не на полную мощность.

Задачей проекта стала автоматизация функций управления проката и интенсификация скорости проката, исходя из энергосиловых возможностей агрегатов. Для листопрокатного стана 5000 был разработан комплекс моделей на базе машинного обучения. Модели управляют участком нагревательных печей (управление нагревом слябов) и клетью кварто (управление скоростью проката), на транспортировочной линии цифровой советчик выдает рекомендации по управлению выдачей слябов.

— Какие проблемы потребовалось решить в ходе этого проекта? Что было самым сложным?

С технической точки зрения – это отличие природы исторических данных от потоковых. После создания решения на исторических данных необходима существенная доработка, связанная с отличием исторических данных от потоковых. Когда вы подключаетесь к потоковым данным и начинаете управлять агрегатом напрямую, приходится реконструировать по факту всё, что происходит в реальном времени, и очень быстро делать корректировки для обеспечения эффективности производства. На исторических данных строится модель, но потоковые данные приходят с разными небольшими запозданиями, и их приходится агрегировать «на лету».

С точки же зрения подхода к моделированию мы вышли за рамки классического подхода обучения с учителем. Если сильно упрощать, то стандартные модели машинного обучения ищут похожие события в прошлом и подбирают хорошие исторические аналоги с довольно слабой способностью к экстраполяции. Мы же добавили сюда causal inference подход: сначала обучили стандартную модель машинного обучения, а потом уже с помощью выявленной причинно-следственной связи на данных искали возможности для ускорения производства: результат получился очень хороший – максимальные скорости агрегата выросли с 3,2 м/с до 4,5 м/с.

— Что сделано в рамках проекта, какие решения использовались?

В ходе проекта автоматизированы функции управления прокатом, максимально интенсифицирована скорость проката, исходя из энергосиловых возможностей агрегатов.

Решение для управления скоростью проката базируется на комплексе моделей машинного обучения. Это градиентный бустинг на решающих деревьях – он используется для предсказания максимальных токов двигателей, приводящих в движение прокатные валки стана 5000; метод ближайших соседей – для оценки начального приближения скорости проката на основе исторических данных по аналогичным типам проката; ряд моделей линейной регрессии с применением подхода causal inference – для определения влияния скорости на максимальный ток.

Управление интенсивностью нагрева печей основано на анализе текущего состояния печей и условий их наиболее эффективной работы, определенных в результате анализа исторических данных. Для синхронизации работы печей со станом 5000 разработаны модели на основе линейной регрессии, предсказывающие время прокатки текущей группы слябов.

С точки зрения платформ использовались собственные разработки, а также OPC UA, Docker, Kubernetes, Apache Kafka, InfluxDB, Apache NiFi, Gitlab, Hadoop, Graylog, Grafana.

— Сразу ли была поставлена задача не ограничиваться рекомендательной системой, а пойти дальше? Или аппетит пришел во время еды?

На короткий период решение работало как рекомендательная система: люди могли переключать тумблеры в соответствии с рекомендациями. Но довольно быстро стало понятно, что это не очень удобно, так как каждый проход сляба занимает несколько секунд, и каждые несколько секунд крутить тумблер в зависимости от рекомендации модели – не слишком эффективно.

Мы убедились в том, что при четком следовании рекомендациям модели наблюдается значительный рост производства. Когда производство сказало: «Давайте переходить в автоматический режим», у нас к этому уже все было готово.

— Откуда брали «источник мудрости» и на чем обучали модели?

Данные датчиков собирали напрямую с агрегата. Мы подключались к уровню производства трубного проката через безопасное соединение, собирали необходимые данные в Kafka, далее выводили их в озеро данных, и на этих данных и строили наши модели. Дополнительно использовали экспертное мнение технологов, в частности, оно нам очень хорошо помогало понять, на что именно стоит обратить внимание. Иногда экспертное мнение подтверждается, иногда нет. В любом случае, с помощью валидации этих знаний на данных и вытаскиванием из данных чего-то нового, о чем технологи могли даже и не знать, получается модель, которая может управлять агрегатом лучше, чем человек.

— Какими силами реализован проект?

Проект реализован силами внутренней экспертизы «Северстали» — командой «Северсталь Диджитал» в партнерстве с производством. Работы проводились с мая 2019 года по третий квартал 2021 года.

— Почему так долго? Или это не долго для такого проекта?

Это вполне стандартный срок: исходя из нашей практики, необходимо от шести до девяти месяцев на разработку решения, которое управляет агрегатом. В данном случае было несколько проектов, направленных на одну и ту же цель. Мы работали над ними последовательно, и таким образом создали полностью цифровой цех.

— Каковы были ожидания от результатов, как они соотносятся с реальностью?

Реальность оказалась лучше, чем ожидания. Мы ожидали увеличения производства на 2-3%, а в итоге получилось более 5% – мы достигли рекордных проказателей по производительности. Более того, ожидается рост на дополнительные 1,5%. За 2020 год средняя скорость проката возросла с 2,3 м/с до 3 м/с, а максимальные скорости проката выросли с 3,5 до 4,5 м/с – операторы в ручном режиме никогда не достигали таких показателей. При этом среднее время ожидания новой прокатной группы уменьшилось с 62 с до 40 с незначительными отклонениями.

— Какие экономические результаты достигнуты?

За три квартала 2021 года эффект от комплекса моделей составил более 20 тыс. тонн дополнительной готовой продукции, что составляет около 1 млрд руб. в ценах 2021 года.

— В чем роль проекта для бизнеса компании?

«Цифровому цеху» в Колпине практически нет аналогов в мировой металлургии: решения работают круглосуточно и управляют одним из крупнейших агрегатов «Северстали». Сотни тысяч тонн продукции в год производятся под управлением нашего комплекса решений.

Металлопрокат из этого цеха используется для производства труб большого диаметра на Ижорском трубном заводе, который поставлял трубы для строительства «Силы Сибири», газопровода «Ухта-Торжок» и других проектов.

— Проект уникален. Может ли его реализация оказать влияние на развитие отрасли?

Мы взяли современные научные принципы и подходы, которые развиваются ведущими ИТ-компаниями, и использовали их для управления промышленными агрегатами.

Считаю, что проект может оказать влияние на развитие отрасли – за подобными подходами будущее. Если раньше мы делали решения, которые были полностью основаны на физике процесса: зашивали логику и формулы для управления в автоматизированную систему, – то сейчас мы всё ближе к созданию «искусственного оператора». В мировой металлургии довольно активно используются советчики и рекомендательные системы, но решения, которые напрямую в реальном времени управляют агрегатами с помощью подходов data science, пока еще довольно редки.

В нашей компании такой подход уже масштабирован на существенную часть агрегатов, и аналогичный подход начали использовать в нашем сырьевом производстве. Наши модели уже стали неотъемлемой частью производственного процесса «Северстали», и я уверен, что за данным подходом будущее.

В Группе компаний «Газпром нефть» реализована полноценная платформа управления данными. Реализуемые инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. В результате появилась прозрачность данных, обеспечено единое их понимание, достигнут быстрый доступ к данным и доверие к ним со стороны бизнеса. О реализации проекта рассказала Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть».

— Когда была начата реализация комплексной программы по управлению данными в «Газпром нефти», каковы были предпосылки? На что рассчитывали?

В 2018 году в «Газпром нефти» были начаты глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях сформировалось полное осознание, что без данных цифровая трансформация не осуществима, и возник комплексный запрос на выстраивание процессов управления данными – обеспечение быстрого доступа к качественным данным для повышения эффективности процессов компании и качества принимаемых управленческих решений за счет использования данных и цифровых двойников. Реализация комплексной программы по управлению данными была начата в 2019 году.

— Что представляет собой программа?

Реализация комплексной программы по управлению данными включает формирование методологии, выстраивание процессов управления данными и встраивание их в регулярную деятельность подразделений, внедрение платформы управления данными на базе наиболее современных инструментов. Кроме того, в ее рамках формируются и развиваются как специализированные компетенции, так и компетенции бизнеса по работе с данными.

— В прошлом году вы принимали участие в CDO Award и стали лауреатом в номинации «За обеспечение качества данных». Что изменилось за этот год?

Самым важным стало дальнейшее вовлечение бизнес-пользователей в процесс «Управление качеством данных». В частности, за год использования методологии и инструментов проработано и зарегистрировано в каталоге данных 1343 бизнес-требования к качеству данных для 12 доменов данных (предметных областей), поставлено на мониторинг более 160 технических проверок качества данных, устранено более 120 тыс. инцидентов качества данных.

— Что стало самым сложным в реализации этого проекта?

Наиболее сложным является проведение культурных изменений, связанных c существенными изменениями в ключевых процессах по работе с данными.

— Что стало главным достижением? Чем можно гордиться?

Нами реализована полноценная платформа управления данными. В инструменте «Глоссарий» описано более 8 тыс. элементов данных, более 40 систем-источников данных интегрировано с каталогом данных. На портале управления данными (УпД) зарегистрировано более 1,4 тыс. уникальных пользователей, 71 тыс. просмотров разделов портала. Более 600 элементов данных имеют проверку качества данных с использованием инструментов качества данных, реализовано более 3 тыс. бизнес-правил, более 650 автоматизированных проверок качества данных. Более 147 тыс. ошибок исправлено по результатам мониторинга; в рамках развития процесса качества данных в 2021 году был создан модуль управления инцидентами и проблемами качества данных.

В системах НСИ размещено более 3,2 тыс. объектов (справочники, классификаторы, реестры, каталоги и др.), осуществлена интеграция более чем с 70 информационными системами при помощи около 1,2 тыс. сценариев интеграции. В рамках работы по направлению «Аналитика BI» (в том числе self-service) опубликовано 125 аналитических приложений, подключены данные из четырех корпоративных хранилищ, создано более 20 дата-сетов.

Более 36 тыс. уникальных пользователей (более 7,5 тыс. в мес.) реализуют работу с неструктурированными данными в корпоративном поиске, осуществляя более 1,6 тыс. поисковых запросов в день по 25,7 млн доступных в поиске документов.

Для повышения уровня компетенции нами проведено более 80 онлайн-обучений и 147 инфо-сессий, разработано два электронных курса на кафедре УпД Корпоративного университета «Газпром нефти», основам управления данными обучено более 800 сотрудников. Кроме того, разработаны три обучающих программы на базе «Школы аналитики», обучено более 60 сотрудников.

— А к чему еще можно стремиться?

В настоящее время мы заканчиваем опытно-промышленную эксплуатацию корпоративных панелей качества данных, представляющих собой единое окно для потребителей, в котором будут собраны метрики качества данных из всех корпоративных систем мониторинга. Работаем над внедрением корпоративного магазина данных и развитием дата-сервисов.

— Насколько заметным стал более простой доступ к данным? Как изменились процессы, как это отразилось на времени доступа?

Благодаря комплексной программе по управлению данными был подготовлен инструментарий, позволяющий управлять доступом к данным на основе метаданных. Доступ будет предоставляться на основе бизнес-роли сотрудника и тегов информационной безопасности, присвоенных данным. Существенная часть доступов будет предоставляться по умолчанию. В настоящий момент этот инструментарий уже подготовлен для проведения опытно-промышленной эксплуатации.

Также в программе проведен пилот по реализации логического хранилища данных, что позволит дополнительно повысить доступность данных, позволяя не только получить доступ, но и оперативно решать комплексные задачи, требующие задействования данных из различных источников.

— Какие результаты достигнуты?

Программой охвачено более 50 проектов и более 15 доменов данных, в рамках которых развиваются ключевые направления управления данными. Основные экономические и нематериальные эффекты программы основаны на переиспользовании данных, ускорении реализации цифровых продуктов, сокращении времени на анализ и поиск качественной информации, а также снижении трудозатрат как на этапе обследования систем-источников, так и при подготовке проектной документации. Отдельно можно выделить повышение качества управления, основанного на данных.

— В чем роль проекта для бизнеса компании?

Реализуемые нами инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. Повышается прозрачность данных за счет создания единого источника информации о данных (бизнес-глоссарий) и правил управления данными группы «Газпром нефть», обеспечивается единое понимание данных: терминологии, взаимосвязей между бизнес-терминами и источниками данных, методологии расчетов, достигается быстрый доступ к данным и повышение доверие к ним со стороны бизнеса. Важную роль также играет повышение аналитичности данных за счет внедрения инструментов self-service BI.

— В чем выражается доверие пользователей к данным? Как понять, что оно есть?

Доверие пользователей отражает степень их уверенности в том, что представляемые данные полностью соответствуют описанию (бизнес-описание, родословная, информация об актуальности и оценки качества данных) и обеспечены поддержкой, гарантирующей актуализацию этого описания в последующем. Это позволяет использовать данные с прогнозируемым результатом не только в моменте, но и реализовать процессы и функционал, работающие на постоянной основе в долгосрочной перспективе. Как результат, доверие пользователей выражается в готовности максимально оперативного применения данных без дополнительных мер по их проверке, без потерь времени на поиск и ожидание консультаций от экспертов отдельных бизнес-систем или предметных областей.

Таким образом, для тех команд аналитиков, разработчиков и архитекторов, которые участвуют в анализе исходных данных, проектировании и разработке, индикатором доверия к данным является интенсивность использования ими бизнес-глоссария, каталога данных, мониторов качества данных с одной стороны и сокращение времени разработки продуктов как результат отсутствия затрат времени на перепроверку данных перед их применением.

Что касается менеджмента компании, то в этом случае индикатором доверия к данным является отказ от предварительной перепроверки информации, представленных в отчетах и дашбордах. Это приводит к сокращению времени на принятие решений.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, как их число изменилось за последнее время? Есть ли показатель, к которому стремитесь?

У пользователей велик интерес к инструменту самостоятельной аналитики, и наблюдается готовность переходить со стандартной и привычной аналитической отчетности к гибким механизмам самостоятельного анализа данных. Распространение self-service BI находится в самой активной фазе, и за прошлый год количество пользователей увеличилось в два раза. В этом году планируется дальнейшее развитие и еще более высокий рост, так как помимо развития самого инструмента, уже на год вперед расписан план обучения сотрудников в «Школе аналитики».

В рамках развития self-service BI также прорабатывается вопрос с импортозамещением, в прошлом году был осуществлен выбор платформы и проведена апробация. В этом году стартуют активности по переводу функционала self-service BI на новую импортонезависимую платформу и обучению сотрудников.

— В каком направлении планируете развиваться?

Мы будем продолжать развивать свою функцию по всем ключевым направлениям – методология, инструменты, компетенции – для обеспечения максимального эффекта от внедрения процессов управления данными и достижения компанией статуса data-driven согласно международной методологии DCAM.