Управление данными

Для любой крупной организации порядок в данных является основой ее успешной работы. В РЖД решили эту проблему, создав импортонезависимую систему управления данными. Она охватила все критически важные данные компании, ускорив и упростив работу с ними, а также повысила доверие сотрудников к аналитической информации. О реализации проекта рассказывает Кирилл Семион, начальник департамента информатизации ОАО «РЖД» и номинант на премию Data Award.

— Какова история проекта создания системы управления данными в РЖД?

Компания имеет развитую организационную структуру – более 700 тыс. работников, ведет хозяйственную деятельность по различным направлениям. В связи с этим она имеет многослойную доменную структуру данных — более 100 доменов данных, которые соотносятся с бизнес-процессами.

Ключевой предпосылкой для реализации проекта явилось отсутствие единого заполненного каталога (глоссария) данных и репозитория форм отчетности, вследствие чего у сотрудников возникали завышенные временные затраты на поиск информации. В том числе большое количество времени уходило на исследование: где и какие данные хранятся, какими документами регламентируются, по каким правилам формируются.

Также отсутствие единого инструмента по ведению реестра отчетов, бизнес-терминов и показателей, приводило к созданию дублирующих отчетов, длительным срокам по предоставлению информации по запросам с уникальным набором показателей, ошибкам в интерпретации данных. В результате в рамках каждого проекта цифровой трансформации возникала необходимость длительного обследования бизнес-процесса – требовалось выяснить, где и каким образом хранятся данные, либо же разрабатывать новый процесс сбора данных.

— Какие задачи решает корпоративная система управления данными?

Целью создания КСУД является выстраивание процессов управления данными с учетом максимального использования существующих решений для развития компетенций работы с данными. Не менее важно сохранение инвестиций, сделанных в создание этих решений.

Фактически КСУД централизует процессы управления данными и унифицирует технологическую инфраструктуру, необходимую для непрерывного функционирования процессов управления данными. Ее создание позволяет решить множество задач. Самая очевидная из них – обеспечить руководство различных уровней, а также сотрудников, достоверной информацией о показателях и их наличии в любых отчетных формах. Кроме того, повышается уровень доверия к данным и аналитике за счет устранения противоречивых, избыточных, непоследовательных и не соответствующих стандартам качества данных. Растет эффективность хранения и работы с данными за счет исключения дублирующих потоков данных и неоправданного хранения одной и той же информации в различных системах, унифицируются процессы работы с данными и аналитической отчетностью. Наконец, именно такой подход дает возможность предоставить отраслевую аналитику в реальном времени с высокой степенью детализации.

— Что представляет собой созданная платформа?

Система охватывает все критически важные данные РЖД, необходимые для статистического, бухгалтерского и управленческого учета, и повышает удобство работы с ними. Она включает в себя несколько ключевых составляющих. Во-первых, это глоссарий бизнес-терминов, в рамках которого пользователи получают единую согласованную бизнес-терминологию, правила формирования показателей и информацию о владельцах данных. Вторая составляющая – репозиторий форм и аналитических справок. Он позволяет пользователю ответить на вопрос, какие методики и распоряжения необходимо использовать при работе с данными. Третий компонент – банк метаданных, показывающий, в какой системе формируются и публикуются данные. Наконец, система построения диаграмм жизненного цикла и потоков данных (lineage) позволяет наглядно отобразить связь показателей с системами-источниками и отчетами.

— На каких решениях построена платформа?

Бизнес-глоссарий, банк метаданных и система построения диаграмм жизненного цикла и потоков данных (lineage) построены на одной из отечественных платформ анализа и управления корпоративными данными, а репозиторий форм и аналитических справок реализован с помощью «Спутник ЕСМ».

— Сколько ресурсов потребовал проект?

Масштаб проекта оценивается в 204 тыс. человеко-часов. В состав команды входят высококвалифицированные сотрудники из нескольких подразделений РЖД, а также специалисты проектной команды подрядчика, привлеченных на постоянное время. В проектную команду вошли аналитики, дизайнеры и архитекторы из двух дочерних организаций (ОЦРВ, ЦС) и внешней – «КОРУС Консалтинг». Помимо этого, более 30 специалистов различных подразделений привлекались к работам над проектом с частичной вовлеченностью – это сотрудники бизнес-подразделений, отчетных подразделений, включая специалистов дорожного уровня, и инфраструктурных команд. Для эффективной реализации проекта было важно создать команду, которая объединит внутреннюю экспертизу и создаст новые компетенции в части управления данными. У проекта есть команда поддержки платформы, которая занимается решением инцидентов и оказанием консультаций по работе платформы. И, конечно, офис CDO, который производит постановку требований на развитие системы управления данными и отвечает за методологическую составляющую, выполняет задачи по внедрению использования системы в производственных процессах, формирует программу обучения.

— Что в ходе проекта было самым сложным?

Самым сложным было провести организационные изменения и плавно встроить разработанные принципы управления данными в текущие бизнес-процессы компании. Различная культура и уровень зрелости в подразделениях требует подготовки дифференцированной программы вовлечения сотрудников. Готовность к изменениям действительно отличается: есть весьма консервативные блоки, а есть очень адаптивные и инициативные.

Если говорить о методологической составляющей, мы начинали построение корпоративной системы управления данных с разработки Глоссария бизнес-терминов. Мы понимали, что это более сложный путь для таких крупных компаний, как РЖД. У нас большое количество бизнес-линий, много бизнес-терминов, они все пересекаются и нужно прийти к одному пониманию. Такой подход позволил нам создать структурированные правила, согласованные с бизнес-процессами, по работе с данными и определить приоритетность и направления работ в части ИТ-ландшафта.

Нельзя не сказать и о технологических сложностях, связанных в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Сложность проекта также обусловлена тем, что он реализован в короткие сроки на импортонезависимом ПО.

— Что удалось лучше всего, чем можно гордиться?

Важна обратная связь от бизнес-пользователей. Это самая лучшая награда и серьезное достижение. Система помогает решить проблемы с трактовкой при работе с показателями и аналитическими формами, сотрудники эффективнее взаимодействуют и быстрее решают задачи, поскольку одинаково понимают одни и те же термины.

— Каких результатов удалось достичь?

Нами описаны метаданные из 40 систем-источников, в том числе 265 форм статистической отчетности. Количество пользователей КСУД составляет более 9 тыс. специалистов, непосредственно работающих с аналитикой.

Работа специалистов – от топ-уровня до линейного уровня – по единой модели данных позволила привести к единообразию сбор данных по показателям. Особенно это важно для смежных подразделений, использующих одноименные показатели из разных систем-источников.

Например, внедрение инструментария по управлению данными позволило пользователям в кратчайшие сроки получать всю необходимую информацию о бизнес-термине: методика и алгоритм расчета, регламент формирования, владелец данных и др. Они могут сопоставлять данный бизнес-термин с конкретной цифрой в отчете, получать информацию о системах-источниках, где данная информация публикуется, а также узнавать в каких еще системах содержится аналогичная информация. Таким образом, инструментарий по управлению данными позволяет привязать используемые в РЖД бизнес-термины, с одной стороны, к физическим источникам данных, то есть системам, где эти термины ведутся, а с другой – к отчетам, в которых они используются. Все это позволяет снизить риск появления терминологической путаницы внутри компании, а также решить задачу по обеспечению специалистов оперативным доступом к информации обо всех критически важных данных.

В целом, комплекс инструментов позволяет разрабатывать аналитические формы с использованием единого методологического подхода, получать информацию о данных смежных подразделений, конструируя востребованные аналитические сервисы, переиспользовать существующие формы в новых BI-системах, сокращая трудозатраты. Снижается трудоемкость множества операций, связанных с работой с данными. И, конечно же, падает риск бизнес-ошибок, вызванных неверным пониманием бизнес-терминов.

— В чем выражается доверие пользователей к данным?

Доверие пользователей к данным выражается в использовании этих выверенных данных, как с точки зрения методологии, так и с точки зрения систем-источников, в повседневной работе при формировании отчетов, справочно-аналитических материалов для руководства ОАО «РЖД».

— Какова роль проекта для бизнеса РЖД?

КСУД РЖД предоставляет возможность взаимодействия с государственными органами и внешними партнерами в части обмена качественными данными, что составляет особую ценность и является стратегически важным для рынка данных транспортной отрасли. Формирование единой отраслевой модели данных работы такого крупного транспортного железнодорожного холдинга позволяет использовать ее более эффективно как внутри для собственных нужд один раз, а не каждый раз изучая, так и вовне. То есть мы получаем многократное использование единожды собранной информации о данных. За счет такой модели данных решения, которые мы делаем для себя, могут быть востребованы на рынке или в государстве, и мы сможем их тиражировать.

Проект КСУД обеспечит создание аналитических сервисов в холдинге РЖД на основе новых технологий контроля инфраструктуры, мониторинга перемещения грузов, моделирования и управления перевозочным процессом и даст возможность развития их в дальнейшем для использования на внешнем контуре компании.

Наконец, хочется отметить, что в периоды турбулентности управление данными – информационный актив компании, который помогает сохранить устойчивость. При этом на одно из первых мест выходит способность быстро меняться и адаптироваться к новым условиям рынка.

— В каком направлении будет развиваться проект?

Корпоративная система управления данными является базисом для моделирования и построения предиктивных моделей. Для построения предиктивных моделей необходимы качественные данные с единой методологией, над чем мы работали и продолжим работать, масштабируя созданные решения и методологические практики на все бизнес-подразделения РЖД.

В части импортозамещения ИТ-ландшафта мы планируем дальше структурировать и наполнять банк метаданных с целью повышения эффективности автоматизации, оптимизации и трансформации текущих процессов ОАО «РЖД».

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в 'скромные' 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

В X5 запустили продукт «Управление товарной представленностью», в котором модели машинного обучения определяют нетипичное отсутствие продаж по товару в конкретном магазине и шлют уведомление персоналу. Это позволило повысить доступность товаров на полках и объемы продаж. Для детектирования нежелательных событий в магазинах, таких как отсутствие товара на полке, нарушение выкладки или отсутствие ценника, используется анализ чеков. В результате время обнаружения проблемы не превышает часа.

В рамках еще одной инициативы был осуществлен переход с инструмента расчета объема промо-товаров, реализованного в SAP BW, на собственное решение. При этом точность прогноза относительно старого решения в ряде случаев выросла до 40%, на AB-тестах подтвержден значительной рост товарооборота и маржи, а также сокращение распродаж после промо-акций.

О реализации этих проектов и их результатах рассказала Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023.

— Какие задачи решает платформа прогнозирования X5, когда создана, на каких технологиях работает?

Платформа прогнозирования Х5 выросла из продукта «Спрос», команда которой была сформирована в 2019 году. В его рамках был реализован прогноз продаж для логистики и коммерции – нам важно знать, какое количество товара, в каком магазине и в какой день будет продано и обеспечить продажи поставками. Так мы понимаем, сколько товара закупать у поставщика под промо и регулярные продажи. По мере развития этого продукта и добавления новых продуктовых инициатив, стали развиваться общие компоненты, которые переиспользуются и помогают быстрее внедрять новые функции, а также запускать новые продукты. Так и появилась платформа прогнозирования. В стек использованных при ее создании технологий входят Hadoop, Airflow, Kubernetes и Spark.

— Какие направления работы стали наиболее актуальными в последнее время?

На текущий момент наиболее актуальным стало направление долгосрочного прогнозирования. Отдельно стоит сказать про развитие управления товарной представленностью: мы обнаруживаем нежелательные события – факты снижения доступности товара для покупателей, а также анализируем факторы, которые к этому привели.

Кроме того, в начале года мы столкнулись с объективной необходимостью ускоренного перехода на собственные решения. Так, например, в торговой сети «Пятерочка» мы за два месяца перешли с инструмента прогноза промо иностранного вендора на собственное платформенное решение на базе машинного обучения. Это, конечно, обеспечило не только поддержку критичных бизнес-процессов, но и повысило качество инструмента, в том числе точность прогнозов.

— С какими именно нежелательными событиями вы боретесь? Почему они происходят?

У нас есть модель, которая в режиме времени, близком к реальному, определяет, что продажи в магазине по конкретной позиции нетипично отсутствуют. Она отмечает высокую вероятность того, что продажа должна была случиться, однако этого не произошло. В этом случае мы говорим, что произошло какое-то событие, которое помешало покупателю приобрести товар: отсутствие товара на полке, нарушение выкладки, отсутствие ценника. Мы не знаем, что именно произошло, но знаем, что возник фактор снижения доступности товара для покупателя.

— Во сколько оцениваются потери от таких событий, наверняка вы это пытались в каком-то виде оценить?

Довольно сложно произвести такую оценку, ведь ее невозможно валидировать. Мы можем оценить с помощью продвинутых математических методов, какие бы продажи случились, если бы «нежелательные события» не произошли, но качество этой оценки невозможно замерить достоверно. Тем не менее, наши оценки доходят до 20% оборота по отдельным категориям товаров, и экспертная аналитика показывает, что на эти цифры можно ориентироваться, чтобы понимать потенциал создаваемых решений.

— Как боролись с этим до сих пор, что получалось хорошо, а что – не очень?

Есть два подхода к решению этой проблемы. Первый из них – жесткий контроль, но он требует большого человеческого ресурса. Второй вариант – автоматическая проверка данных и выставление заданий на этой базе.

В прошлом компания использовала довольно простые эвристики. Например, по наиболее продаваемому ассортименту у магазина должна быть хотя бы одна продажа в день. Если продажи по какой-то позиции не случалось, то персоналу было необходимо проверить, в чем причина, и устранить ее. Проблема заключается в том, что в этот список так или иначе могли попасть позиции, которые не продавались по другим причинам – например, именно в этом магазине на них просто нет спроса. Сотрудникам добавлялось работы по проверке, которая не всегда была оправданной. Поэтому нам было важно максимально точно идентифицировать случаи, где проблема действительно есть, и не нагружать магазин лишней работой, а наоборот – помогать более точечно находить проблемы и наращивать товарооборот.

— Почему это важно для бизнеса, помимо собственно минимизации упущенных продаж?

Здесь очень много факторов. Во-первых, это лояльность наших покупателей и привлекательность торговой сети. Если покупатели не находят то, зачем пришли, то могут и не вернуться. Для нас важно, чтобы гости находили на полке товар, который им нужен, и возвращались снова и снова.

Во-вторых, устранение таких проблем за счет цифровых решений напрямую влияет на рост продаж. Если с товаром на полке проблема – его не покупают.

В-третьих, если продажа не случилась, то мы не понимаем потенциал продаж и в будущем, исходя из заниженной оценки, прогнозируем более скромные показатели и везем меньше товара в магазин.

Наконец, такая система в конечном счете влияет на сокращение трудозатрат персонала. Сотрудникам не нужно проверять все полки и весь ассортимент, они точечно проходятся по нашим заданиям, а остальное время уделяют гостям, приемке и множеству других своих задач. Упростить работу сотрудников магазинов, помочь им достигать свои цели по показателям – для нас это очень важно.

— Какие варианты решения проблемы рассматривались? В чем их плюсы и минусы?

Решение на базе чековых данных, если честно, довольно очевидное. К тому же анализировать чековые данные нам все равно нужно, и восстанавливать продажи – тоже нужно, так что это естественное развитие системы прогнозирования для переиспользования наработок в других функциях. Мы в целом стараемся смотреть на вещи широко и думать, где еще могут быть полезны наши решения, ведь синергия между функциями и бизнесами – в приоритете для X5.

Альтернативный способ решения вопроса – видеоаналитика. Я бы не сказала, что он конкурирующий: если бы видеоаналитика была, мы бы могли использовать их разметку для обучения моделей. Да и в целом решения могли бы дополнять друг друга. Но проблема видеоаналитики в том, что у нас очень много магазинов, а оборудование для аналитики довольно дорогостоящее и оборудовать все магазины было бы просто нецелесообразно. К тому же у нас широкая ассортиментная матрица, и задача по распознаванию товаров на полке тоже становится довольно объемной. Поэтому использование подхода с чековыми данными стало рациональным решением проблемы с точки зрения бюджета, качества и сроков.

— Вероятно, аналитикой чеков в X5 занимаются уже давно. Какие задачи уже удавалось эффективно решить?

Данные по чекам используются в разных продуктах – например, в подразделении, занимающемся управлением потребительской ценностью (Customer Value Management, CVM), команды используют их для создания таргетированных маркетинговых акций.

— Чеки появляются, когда клиент уже покинул магазин. Как на основе чеков можно оперативно выявить проблему на полке?

Чек появляется, как только он был пробит. Да, могут быть некоторые временные задержки, но у нас чек оказывается не позднее чем через полчаса после того, как он был сформирован на кассе. Разумеется, мы уже не успеем предложить этому покупателю товар, который он не смог найти, но мы узнаем о проблеме и устраним ее для наших следующих гостей. Мы видим, как после наших сигналов продажи возобновляются, и это отличный эффект. Ведь лучше исправить обнаруженную проблему, чем продолжать упускать продажи.

— В чем суть проекта, что было сделано?

В течение дня мы каждый час формируем сигналы и отправляем их в магазины. Их получают директора и администраторы. На старте проекта для пилота мы разработали телеграм-бота, где зарегистрировался персонал. Сотрудники получали оповещения и шли их отрабатывать. На каждый сигнал по своему магазину они в ответ указывали нам, что действительно есть проблема и называли причину, либо отвечали, что все в порядке и система ошиблась. На основе этой обратной связи мы оценивали качество модели и работали над тем, чтобы повысить точность сигналов. Когда точность показалась достаточной, мы запустили AB-тест. В пилотной группе было 300 магазинов, которые получали сигналы, а в контрольной – 300 магазинов, которые сигналы не получали. По результатам теста мы произвели точечную оценку прироста товарооборота. Мы увидели хороший прирост при том, что уведомления рассылались ограниченно, а не по всем позициям, так как мы не могли перегружать сотрудников. Так мы убедились, что действительно приносим финансовый эффект, а не просто добавили работы сотрудникам.

Далее мы интегрировали нашу платформу со стандартными системами магазина и отказались от телеграм-бота. Теперь сотрудники отрабатывают наши задания в своих привычных инструментах. При этом если задание отработано в одном инструменте, то и в другом оно отмечается как сделанное. Нам очень важно, чтобы решением было удобно пользоваться.

— Что представляет собой созданное решение? Как выглядят его сигналы?

По сути само решение не имеет интерфейса, мы взаимодействуем с существующими в компании системами. Там в стандартной для сотрудников форме появляется задание от нашей системы наряду с другими. Указывается время срабатывания уведомления, наименование и код товара, также есть возможность ответить на сигнал: указать корректный он или нет, а если проблема подтверждается – выбрать причину.

— Сколько времени проходит между появлением проблемы и первыми сигналами о том, что «что-то не так»?

От получаса до часа, не более.

— А сколько времени детектирование проблем занимало раньше? То есть какого сокращения времени устранения проблем удалось достичь?

Это очень хороший вопрос. Конечно, сотрудник мог проходить между полками и заметить, что есть проблема нехватки товара. Но может быть и так, что сотрудник не увидел товар на складе и не выложил его. Или может быть, что в системе на остатке числится товар, а по факту его нет. В этом случае система пополнения думает, что продажи обеспечены, и товар в магазин не везут. Здесь до момента, пока проблему обнаружат, может проходить более суток.

— Как эти результаты оцениваются в деньгах, ведь невозможность взять с полки товар – это прямые потери магазина?

Мы называем это упущенными продажами. Результат мы оцениваем на базе АВ-теста, это самый достоверный способ сказать, что изменение продаж произошло именно за счет воздействия нашего инструмента, а не каких-то других факторов. Кроме того, мы оцениваем потенциал по упущенным продажам на базе восстановленных продаж, эта цифра получается из анализа динамики продаж в определенном временном периоде и на соседних объектах. Условно, если мы в среднем продаем 9 штук, а сегодня продали 2, то 7 штук мы восстановим. Логика модели сложнее и учитывает множество факторов, но в целом можно описать это так.

— Каковы направления развития этого проекта?

Мы продолжаем развивать модель в сторону повышения точности детектирования проблем, а также большой упор делаем на определение их причин. Ведь снижение доступности происходит не только из-за нарушения процессов в магазине. Сотрудник может повлиять на это, если товар числится в остатках. Ровно такая проверка стоит перед отправкой уведомления: нет смысла отдавать задание в магазин, если у них нет остатка.

Но в целом по цепочке может быть много причин: нарушение уровня сервиса поставщика, некорректные параметры в системе и т.п. Мы активно движемся в сторону их идентификации и развиваем инструменты для этих функций.

— В начале года SAP уведомил вас об отключении своего облака. Каков был масштаб проблем: насколько сильным был этот удар и каких систем коснулся?

Да, в марте нас предупредили о том, что мы больше не сможем пользоваться облаком SAP. Штаб импортозамещения нашей компании начал активно прорабатывать вопрос: каких процессов это касается, какие альтернативы есть, что необходимо предпринять. По большей части это коснулось отчетности, так как в SAP BW реализуется именно отчетность. Но также там был реализован функционал прогноза промо-продаж. К этому моменту у нас уже год функционировало собственное решение для торговой сети «Перекресток» на базе платформы прогнозирования и, конечно же, у нас были планы перевести на него и торговую сеть «Пятерочка». Но в «Пятерочке» существенно больше пользователей, и переход планировался в течение года. В новой ситуации не было сомнений, что переезжать нужно именно на наше решение: оно уже было готово, но пришлось ускориться.

— В чем была задача прежнего решения для расчета объема промо? Кто его использовал и какие результаты получал?

Прошлый «промо-калькулятор» имел очень простую логику. Пользователь самостоятельно выбирал аналогичный период промо-акции или товар-аналог и его период промо. Далее на базе прошлых продаж составлялся прогноз будущих продаж.

Инструмент использовали категорийные менеджеры, они получали прогноз продаж на выбранные магазины и позиции по дням. Никакие особенности SAP BW не использовались, просто исторически инструмент реализовали в этой системе, так как в BW содержались все нужные для расчетов данные. Это было задолго до того, как в компании появились другие технологии по работе с данными.

— Почему уже заранее началась разработка замещающего решения? Что не нравилось в старом, что хотелось улучшить?

Как я уже сказала, подходы к прогнозированию были довольно тривиальные и не учитывали ничего, кроме факта продаж в одной исторической точке. Новые подходы позволяли учитывать различные факторы: цену, сезон, расположение товара в каталоге и его предложение на кассе, фактор предпраздничных дней. Кроме того, мы учитываем динамику продаж и историю с 2018 года! Из этих данных можно получить очень много ценной информации для повышения точности прогноза.

— Что собой представляет новое решение, каков принцип его работы?

Новое решение представляет из себя сервис с пользовательским интерфейсом. Пользователь указывает, какие товары в каких магазинах и за какой период он хочет поставить в промо-акцию, а также его параметры – например, цену. Далее сервис готовит расчет по этим параметрам и возвращает пользователю прогнозы объемов продаж. Расчет реализуется с помощью модели машинного обучения, которая уже обучена на исторических данных.

— За счет чего решение дает лучшие результаты по сравнению с предыдущим?

Основной эффект мы получаем за счет более продвинутых математических подходов относительно прошлого решения.

— Какого эффекта удалось достичь в результате перехода?

Точность прогноза сильно выросла – до 40% по сравнению с предыдущим решением, подтвержден значительной рост товарооборота и маржи, сокращено количество распродаж после промо-акций. Что касается финансового эффекта, то мы не раскрываем конкретные цифры, но это значимые показатели.

— Разработанное решение дает синергию с прогнозом регулярных продаж. За счет чего она происходит?

Синергия заключается в том, что при прогнозировании регулярных продаж система знает, какие промо-акции и какие планы по продажам будут реализованы. Таким образом, мы учитываем каннибализацию промо-продажами регулярных позиций и привозим ровно столько товара, сколько нужно. Это приводит к снижению списаний и избыточных товарных запасов.

— Каковы планы по развитию этого решения и его расширению на другие области?

В данном решении мы еще не достигли предела по качеству и планируем развивать подходы к математическому моделированию для повышения эффективности. Кроме того, для нас актуально долгосрочное прогнозирование, и мы будем расширять горизонт прогноза с текущих 16 недель до горизонта планирования со стороны категорийных менеджеров и закупок. Также сервис для прогноза промо позволяет осуществлять анализ what-if – проводить оценку сценариев по прогнозу продаж в зависимости от различных параметров: позиции, цены, наличия рекламы на ТВ и другое. Данный инструмент планируется развивать и для других направлений – например, регулярных продаж и плана поставок.

В 2020-2022 годах Счетная палата Российской Федерации реализовала важный стратегический проект — комплексную программу подготовки специалистов (КППС) по управлению данными для высшего органа внешнего государственного аудита. Сотрудники Счетной палаты прошли обучение современным техническим инструментам дата-аналитики и получили практический опыт их использования. Программа позволила значительно повысить производительность труда инспекторов и выйти на новый качественный уровень представления результатов аудиторской работы. Для реальных задач Счетной палаты сотрудники ведомства за три года разработали более 130 решений, основанных на аналитике данных. О том, как удалось этого добиться, рассказал Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации и номинант на премию Data Award 2023.

— В чем заключались проблемы, какие задачи требовалось решить с помощью программы подготовки?

Проблемы типичны для многих госструктур: отсутствие опыта аналитической работы у имеющихся сотрудников, низкий уровень технологической подготовки, в том числе работы с инструментами аналитики, понимания управления данными и т.п. В то же время наша новая система компетенций требует всего этого, а на рынке отсутствуют программы обучения, нацеленные на подготовку необходимого уровня специалистов. Кроме того, нам нужна не теория, а практика — именно на реальных примерах из жизни специалисты такого рода как наши учатся лучше всего.

— Как появилась эта программа, какова история ее создания?

Программа была разработана и реализована нами в 2020-2022 годах, а ее целью является обеспечение реализации стратегии развития Счетной палаты в 2018-2024 годах. В частности, наша стратегия предусматривает не только цифровую трансформацию процессов операционной деятельности, но и развитие собственных аналитических компетенций и инструментария, основанных на современных подходах к моделированию, развитие дистанционных методов аудита, а также аналитических разработок и прикладных методов для обеспечения функции государственного аудита. Фактически КППС стала одним из важнейших инструментов решения задач стратегии. Ее предназначение – обеспечить наших сотрудников техническими знаниями и навыками, которые необходимы им для совершенствования государственного аудита, с акцентом на самостоятельную подготовку и обработку больших объемов информации и данных.

Утвержденная в 2021 году Модель компетенций описывает требования к знаниям и умениям применительно к ролям в процессах Счетной палаты. Ее особенностью и приоритетом стали специальные профессиональные компетенции, свойственные определенным профессиональным ролям, и универсальные цифровые компетенции, которые могут распространяться на всех сотрудников Счетной палаты.

С учетом специфики работы с аналитическими инструментами, а также процессами внедряемой системы управления данными, нами было выделено несколько ключевых ролей сотрудников: инспектор-«дата-стюард», инспектор-«дата-аналитик», дата-инженер и инспектор, обладающий универсальными цифровыми компетенциями. Для каждой из этих ролей в модель компетенций были включены соответствующие профили по трем уровням: начальный, средний, продвинутый. И конечно, сотрудников нужно обучать в соответствии с ними.

— Приведите пример таких профилей.

Например, рассмотрим роль дата-стюарда. На базовом уровне он должен понимать простые структуры и типы данных, обладать теоретическими знаниями о возможностях использования инструментов и принципах функционирования системы управления данными Счетной палаты, уметь работать с ГИС и иметь представление о базовых принципах управления данными. На высоком уровне всё гораздо серьезнее. Такой сотрудник обладает базовыми знаниями SQL, умеет работать с СУБД PostgreSQL, обладает навыками работы в PolyAnalyst, умеет разрабатывать правила надежности и качества данных. Он способен сформулировать рекомендации по составу и порядку формирования данных при создании и модернизации ГИС, умеет формировать задание на загрузку данных дата-инженеру из любого источника данных, имеет углубленные знания в области работы с данными, подтвержденные дипломами.

— Каковы вообще потребности Счетной палаты в экспертах по управлению данными и работе с ними? Должен ли в итоге каждый инспектор стать кем-то из дата-специалистов?

Конечно же, далеко не каждый инспектор должен стать продвинутым специалистом по управлению данными. На один профильный аудиторский департамент, которых у нас 15, из 40-50 человек вполне хватит двух-трех дата-стюардов – специалистов, отвечающих за предметное изучение данных и постановку задач на их «интеграцию»: определение и описание необходимых источников, дата-сетов и т.п. Остальные же инспекторы вполне могут обладать только базовым пониманием того, как устроены базы данных и информационные системы на уровне квалифицированных пользователей.

— Почему пришлось создавать собственную программу обучения?

Каждый из разработанных профилей ролей требовал подбора адекватных программ обучения. Выяснилось, что на образовательном рынке отсутствовали, да и до сих пор отсутствуют предложения по подготовке специалистов по работе с данными, набор компетенций которых соответствовал бы нашим специфическим требованиям. А «затачивать» под нас программу обучения никто из поставщиков не был готов.

Поэтому было принято решение разработать и реализовать КППС – собственную комплексную программу по подготовке специалистов по управлению данными для высшего органа внешнего государственного аудита. Ее преподавателями стали как сотрудники нашего Департамента цифровой трансформации, так и подведомственного Центра экспертно-аналитических и информационных технологий Счетной палаты Российской Федерации (ФКУ «ЦЭАИТ СП»).

— Какие направления охвачены программой?

Программа включает три постоянно действующих курса обучения для разных аудиторий. Это курс для инспекторов-«дата-аналитиков» — «Практика цифровой трансформации», курс для инспекторов-«дата-стюардов» — «Образовательный трек по работе с данными», и курс для инспекторов – «Работа с аналитическим инструментом PolyAnalyst». Занятия по каждому из курсов проводились дважды в неделю и представляли собой как традиционные лекции, так и практические работы на основе актуальных кейсов из практики инспекторов Счетной палаты. Практическому применению полученных знаний уделялось повышенное внимание: на решение кейсов по внешнему государственному аудиту в программах курсов отводилось до половины учебного времени.

По итогам обучения мы получили еще и набор электронных материалов, по которым новые сотрудники смогут самостоятельно пройти подготовку в полном объеме. Записи лекций и материалы для самостоятельного изучения выкладываются в нашей системе управления развитием персонала и системе управления знаниями.

— Расскажите немного про каждый из курсов. Например, что изучают дата-аналитики?

На этом курсе инспекторы, ориентированные на мероприятия по стратегическому и комплексному аудиту, осваивают методы и инструменты аудита, основанного на больших данных. Курс был разделен на несколько уровней (начальный, средний, продвинутый и расширенный) исходя из решаемых задач, сложности обрабатываемых данных и применяемых инструментов.

На начальном уровне инспекторы изучали возможности BI применительно к структурированным данным – агрегирование и визуализация первичных данных из государственных информационных систем. В результате они научились строить и использовать в отчетах несложную инфографику: дашборды, графики, диаграммы и т.п. На среднем уровне уже охватываются методы обработки текстовых данных из первичных документов – извлечение с помощью лингвистических правил и словарей сущностей и концептов из договоров, платежных поручений, актов, протоколов, доверенностей и др.

На продвинутом уровне сотрудники познакомились с программной библиотекой pandas на языке Python, которую называют «Excel XXI века». По итогу этих уровней слушатели умеют проводить несложную текстовую аналитику по большим массивам документов. На расширенном уровне осваиваются новейшие методы искусственного интеллекта – модели-трансформеры и трансферное обучение в обработке естественного языка.

По итогам обучения на всех уровнях инспекторы готовили индивидуальные и групповые учебные проекты, непосредственно связанные с их рабочими задачами. Результаты многих проектов вошли в отчеты Счетной палаты о проведенных контрольных и экспертно-аналитических мероприятиях. Например, группой из трех инспекторов была обучена нейронная сеть-трансформер на нормативно-правовых актах и применена в ходе антикоррупционной экспертизы планов федеральных органов исполнительной власти. Новый подход существенно снизил сроки проведения экспертно-аналитического мероприятия – с 90 до трех дней.

— Если говорить о следующем курсе, то роль дата-стюардов пока еще является экзотикой.

Действительно, внедрение роли дата-стюардов в деятельность Счетной палаты стало уникальным опытом в организации работы с данными в деятельности государственных органов аудита, да и остальных государственных органов. Наши дата-стюарды – сотрудники направлений аудита, ответственные за поиск, сбор, обработку и использование данных. Они определяют источники получения данных и необходимость доступа к ним, необходимые виды данных, содержащиеся в источниках данных. Они же формируют в системе управления данными паспорта объектов данных, карты данных и требования к загрузке исходных данных, требования к витринам данных, определяют периодичность сбора, загрузки и обработки обновлений исходных данных.

Образовательный трек для дата-стюардов разработан на период 2021-2022 годы в соответствии с профилем роли. Курс разделен на триместры, занятия проходят еженедельно. Его особенность – последовательное погружение инспекторов в разные области знаний, связанных с управлением данными.

Дата-стюарды овладели знаниями по поиску, сбору, систематизации данных из различных источников, научились поддерживать наборы данных в актуальном состоянии. Спецификой курса является также система получения практических навыков: выполняя домашние задания в рамках курса, дата-стюарды постепенно наполняют наше озеро данных «живыми» кросс-функциональными наборами данных, а систему управления данными – описанием востребованных в проверках источников данных и наборов данных.

— Вероятно, третий курс – «Работа с аналитическим инструментом PolyAnalyst» – самый «легкий» с точки зрения длительности обучения.

Потребность в таком курсе возникла в связи с высокой загрузкой инспекторского состава, а также сложностью с привлечением на работу в госорган дорогостоящих технических специалистов и дата-сайентистов. Сотрудники, задействованные в проверках, не располагают временем на продолжительную учебу и программирование, да и набор аналитических задач для таких проверок – в целом типичный. Требуются инструменты, позволяющие решать текущие задачи по обработке больших наборов данных «здесь и сейчас». Поэтому нами была выбрана стратегия использования low-code/no-code инструментария, позволяющего решать большинство аналитических задач без программирования, тем самым снижая «порог входа» в аналитику данных для обычных сотрудников, не имеющих специализированной технической подготовки. Некоторые инструменты осваиваются инспекторами самостоятельно по специально разработанным руководствам по работе с ними. Но для наиболее сложного из таких инструментов – аналитической платформы PolyAnalyst – был разработан специальный курс.

Эта платформа принята у нас в качестве базового универсального инструмента для анализа всех видов данных и визуализации результатов работы с данными, поэтому навыки работы с ней необходимы и инспекторам из направлений аудита, и дата-стюардам, и другим сотрудникам. В рамках программы подготовки был разработан специальный курс обучения PolyAnalyst для всех заинтересованных специалистов, включающий три уровня: начальный, средний и продвинутый. Он позволяет приобрести такие навыки, как импорт данных и операции с данными, основы анализа и классификации данных, регрессионный анализ и кластеризация, основы обработки текстовых данных. Кроме того, изучается язык поисковых запросов Pattern Definition Language (PDL), классификация и кластеризация текстов, таксономия, а также язык, предназначенный для описания определений и реализаций процессов eXtended Pattern Definition Language (xPDL).

Так, выпускники начального уровня приобретали навыки по объединению в PolyAnalyst данных из нескольких источников, агрегированию и визуализации данных. На среднем уровне слушатели осваивали более сложную аналитику, — в частности, статистический и текстовый анализ. На продвинутом уровне сотрудники Счетной палаты получили профессиональную специализацию «лингвист-аналитик», изучив углубленные и сложные правила xPDL и PDL для обработки аудиторских документов.

— С какими источниками данных и инструментами (кроме PolyAnalyst) приходится иметь дело специалистам Счетной палаты?

Источников данных очень много. Исходя из специфики нашей работы, главным образом, это различные ГИС – системы в сфере управления общественными финансами, системы типовой деятельности федеральных органов исполнительной власти, системы документарной деятельности, системы в сфере управления материальными и нематериальными активами.

Помимо платформы PolyAnalyst, используем инструменты BI и data science из числа свободного программного обеспечения – Metabase, Python и дополнительные библиотеки по работе с данными, RStudio, JupyterLab, LabelStudio, streamlit, а также инструменты анализа баз данных pgAdmin, DBeaver, Arenadata DB, Arenadata Hadoop.

— Как и по каким критериям осуществляется отбор инспекторов для обучения? Как мотивируете повышать квалификацию?

Мы не ставим барьеров. На «начальный» уровень подготовки может прийти любой желающий. На следующие уровни также могут приходить все желающие, но там уже чисто объективно не все могут с ними справиться. Условно можно сказать, что происходит «естественный отбор» –например, на самом высоком четвертом уровне необходимы знания математики, достаточные для понимания того, как работают нейронные сети, а это не каждому под силу. Но, как я говорил раньше, далеко не всем инспекторам необходим максимальный уровень, – наверное, таких лишь 5% от всей численности.

Специальной мотивации для повышения квалификации нет: как показывает практика, этого и не нужно. Сотрудники и сами прекрасно понимают, что данное обучение повышает их ценность как специалиста, дает уверенность в будущем, что в наше время очень важно. Ну а того, кто этого не понимает, мотивировать бесполезно и бессмысленно.

— Скольких специалистов удалось подготовить?

Курс «Практика цифровой трансформации» прошли 370 специалистов, это 65% сотрудников аудита. 85 из них обучены по расширенному курсу. Систему PolyAnalyst изучили 210 сотрудников. В рамках образовательного трека для дата-стюардов обучено 60 дата-стюардов и 10 инспекторов.

— Какие достигнуты результаты? Что из этого вы считаете наиболее важным?

По итогам реализации КППС в Счетной палате в четыре раза выросло количество аналитических решений с использованием новых методов и инструментов анализа данных. Если в 2020 году их было 16, а в 2021 году – 31, то в 2022 году их число достигло 80. Кроме того, значительно увеличилась – до 70% – доля самостоятельных решений, созданных инспекторами аудиторских направлений без менторской поддержки Департамента цифровой трансформации. При этом по 11 цифровым решениям достигнута их повторяемость и масштабируемость в различных бюджетных циклах и аудиторских направлениях. Появились и первые решения с использованием методов искусственного интеллекта.

Например, в ходе проверки выплат адвокатам по назначению инспектор разработал лингвистическое правило, позволившее извлечь информацию из поля «Назначение платежа» в платежном поручении. После обработки почти 1 млн платежных поручений были обнаружены транши 424 адвокатам с признаками нарушений на общую сумму 20,7 млн руб. Увеличилось количество объектов контроля в 10 раз, а сам процесс анализа первичных документов по выплатам адвокатам сократился по времени в 7 раз.

В 2021 году Счетная палата выиграла конкурс на проведение внешнего аудита Организации Объединенных Наций по промышленному развитию (ЮНИДО). В ходе этой проверки слушатели программы обучения применили свои знания на практике, проведя анализ Journal Entry Testing для выявления мошенничества с финансовой отчетностью. С его помощью удалось отобрать аномальные бухгалтерские транзакции в зоне повышенного аудиторского риска.

Образовательный контент, созданный и апробированный в ходе реализации КППС, начал использоваться в международных образовательных программах – в Университете высших органов аудита при сообществе ИНТОСАИ.

Важно, что для подготовки аналитических решений инспекторы и дата-стюарды самостоятельно находят в Системе управления данными и описывают нужные для работы данные, формируют структуры кросс-функциональных витрин данных и ставят задачи на их загрузку данных в озеро данных.

— Какие наиболее масштабные цифровые решения удалось построить?

В общей сложности нашим сотрудникам удалось реализовать более 120 кейсов по анализу данных.

Ярким проектом стал автоматизированный анализ статистической отчетности ФНС России. В его рамках сотрудниками департамента аудита доходов организовано автоматическое извлечение показателей статистической отчетности ФНС и построение временного ряда за пять лет. Более 2 тыс. показателей сведены в единую аналитическую таблицу, в том числе при помощи лингвистического анализа. Это позволило примерно в 10 раз снизить трудозатраты на проведение анализа статистической отчетности ФНС.

Еще один пример – мониторинг федерального недвижимого имущества. Новые знания и умения позволили сотрудникам реализовать геопространственную и визуальную аналитику объектов федерального недвижимого имущества, арендованного и сданного в аренду, по уровню арендной ставки. В результате, в частности, были выявлены существенные аномалии в распределении уровня арендной ставки.

Наконец, стоит отметить разработку цифрового решения «Государственный долг субъектов Российской Федерации». Используя навыки работы с PolyAnalyst, сотрудники департамента аудита финансовых рынков и государственного долга создали интерактивный инструмент мониторинга и анализа данных о госдолге регионов. Он включает в себя виджеты с табличным и графическим представлением аналитической информации об объеме, структуре и динамике совокупного государственного долга субъектов РФ и муниципальных образований, об объеме и структуре долговых обязательств регионов.

— В чем роль запущенного образовательного проекта для Счетной палаты?

Для нас было крайне важно внедрить практику непрерывного обучения и профессионального развития сотрудников в соответствии с принятыми моделями и профилями компетенций. Этот результат является основой для системной реализации ключевых направлений развития Счетной палаты и достижения стратегической цели по повышению качества государственного управления.

Еще раз подчеркну, что введение роли дата-стюардов, а также формирование модели компетенций и программ обучения инспекторов и дата-стюардов является уникальным опытом в организации работы с данными в деятельности не только государственных органов аудита, но и остальных государственных органов в России.

Наличие у сотрудников Счетной палаты знаний и умений, приобретенных в ходе реализации КППС, позволило значительно повысить производительность и качество их труда. Повысились компетенции инспекторов аудиторских направлений по сбору и анализу данных, по оценке государственных программ и политик, развитию доказательных методов аудита. Расширилось применение новейших методов и инструментов анализа данных, что улучшило качество и актуальность рекомендаций по результатам аудита, минимизировало время сбора аудиторских доказательств, довело на некоторых мероприятиях количество проверяемых объектов до 100%.

— Пытаетесь ли оценить финансовую эффективность работы программ обучения?

Конечно. В нашем случае напрямую в деньгах эффект оценить вряд ли получится, но о том, что подготовленные инспекторы экономят огромное количество времени за счет применения нового аналитического инструментария, говорить можно — и речь идет о тысячах человеко-часов за год. Эффект заключается также, например, в том, что вместо десятков документов или транзакций сотрудник может анализировать тысячи и десятки тысяч, или находить какие-то закономерности, аномалии, которые невооруженным взглядом выявить невозможно. Также инспектор может вывести результаты в виде наглядной инфографики, необходимой для подготовки качественных выводов по итогам работы. То есть можно говорить о принципиально другом качестве результата, который сложно оценить в деньгах.

— Есть ли планы развития программы – например, охват каких-то других направлений подготовки?

Реализация основных запланированных этапов программы завершается, дальше мы будем говорить о ее «тюнинге» — большей ориентации на следующих этапах на решение каких-то частных вопросов применения инструментов и технологий, возникающих уже по итогам практического применения уже освоенного материала.

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

Опытом преодоления кризиса поделились представители ряда компаний: «М.Видео-Эльдорадо», «Лента», «Интер РАО-Онлайн», «Тинькофф» и «К-Скай». (Еще одной актуальной теме — самообслуживанию — посвящен отдельный материал, см. статью «'Управление данными — 2022': На прямой связи с данными»).

Перестройка трансформации

Кризис застал «М.Видео-Эльдорадо» в разгар погружения в цифровую трансформацию. В компании шел процесс ликвидации границ между бизнесом и ИТ. Все бизнес-подразделения имели собственные бюджеты на разработку. Директора по продуктам и технические директора решали задачи в каждом бизнес-домене, а разработчики создавали инструменты, чтобы автоматизировать именно бизнес-процессы подразделения. Дата-офис поддерживал своими компетенциями разработку продуктов бизнесом и развивал платформу данных, методологию Data Governance и инструментарий машинного обучения. При этом cтруктура дата-офиса была очень прозрачной с точки зрения бюджетирования — было легко оценить стоимость каждого продукта, рассказал Данила Наумов, директор офиса больших данных «М.Видео-Эльдорадо».

Данила Наумов: «Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции»

Новая реальность привела к резкому сокращению бюджетов, и недостатки дорогой матричной структуры продакт-менеджмента стали критичными. Стало не хватать специалистов для создания полноценного конвейера данных по каждому продукту в каждом домене: было трудно полностью закрыть весь список задач.

Поэтому уже летом десять бизнес-доменов свернули в три, что позволило выстроить внутри каждого из них отдельные конвейеры данных. Помимо них, существовал и централизованный — он мог принимать задачи подразделений, не имеющих собственного конвейера.

Были предприняты и другие важные стратегические шаги.

«Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции так, чтобы у команд были средства на решение задач как сервисов», — рассказал Наумов. Распределенный бюджет стали использовать по сервисной модели: кто угодно может попросить решить его задачу, но сделано это будет в рамках общих приоритетов. Установление очередности происходит в соответствии со стратегией бизнес-домена, что очень понравилось бизнесу. От момента введения задачи в систему до внедрения результата сейчас проходит 15 рабочих дней, и, по словам Наумова, это довольно хороший для отрасли показатель.

Таким образом реализуется урезанный вариант цифровой трансформации: в нынешних условиях она стала чересчур дорогой.

Благодаря и вопреки

В компании «Интер РАО-Онлайн» большинство проектов по управлению данными реализовано «благодаря и вопреки»: благодаря поддержке очень высокого уровня руководства и вопреки всей бюрократической машине. «Роль CDO, в которой я живу, — это роль лифта в космос, — объяснил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». — Одни читают DAMA DMBOK2, другие стоят «у сохи», и надо подружить эти две половины мира, чтобы что-то двигалось вперед». Для этой цели в компании создали службу заказчика, построенную по методологии Agile и стоящую особняком от ИТ- и бизнес-отделов.

Владимир Анисимов: «Роль CDO, в которой я живу, — это роль лифта в космос»

Еще один лайфхак энергетической компании — не бояться использовать обходные приемы решения ИТ-проблем. ««Костылизация» — часть нашей жизни, такой подход позволяет бежать быстрее, — констатировал Анисимов. — Большинство наших пилотных проектов, а затем и продуктов стоят на «костылях», которые мы вытаскиваем на протяжении 3–5 лет, и эти «костыли» достойно себя ведут».

Любимый «костыль» Анисимова — программные роботы. «Я предпочитаю ставить роботов там, где нет и не будет в ближайшее время интеграции по API, — отметил он. — Такой 'костыль' отлично выполняет свою задачу, на нем можно шагать долго и уверенно».

Гордость Анисимова — система автоматизированного взыскания дебиторской задолженности, интегрированная с набором внутренних сервисов компании и содержащая алгоритмы машинного обучения. Она строилась на зарубежных продуктах и сейчас мигрирует на отечественные решения — в частности, на low-code-платформу Loginom. Хранилище данных уже «съехало» с Oracle. Теперь и аналитику, которую до сих пор развивали на Oracle Analytic Server, переведут на open source и отечественные продукты. «Переход идет тяжело, — признался Анисимов, — так как ни одного BI-решения с полноценным самообслуживанием на внутреннем рынке пока не нашли».

Работа на результат

Что делать, чтобы работа дата-команд приносила пользу организации? Руководитель Data Science компании «Лента» Ирина Голощапова заострила внимание на бизнес-аспектах вывода моделей в продуктивную эксплуатацию. Это целая история по управлению изменениями, считает она. Недостаточно построить модель, способную повысить эффективность бизнеса. Нужно сделать так, чтобы люди эту модель использовали, включив ее в бизнес-процесс. «А для этого важно думать об интерпретируемости решения для конечного пользователя, — подчеркнула Голощапова. — Чтобы доверять результатам работы модели, он должен понимать, как она к нему пришла, как может меняться ее поведение в реальных условиях, как полученный результат можно использовать и почему». Для внедрения продвинутой аналитики в «Ленте» реализуют фреймворк Reliable ML, который позволяет учитывать как технические особенности машинного обучения, так и процессы работы дата-офиса и его взаимодействия с бизнесом для достижения максимального финансового эффекта.

По мнению Анисимова, оценить эффект удачного внедрения дата-проектов невозможно: все понимают, что «штука классная», но никто не может посчитать результат в рублях. Как только появляется первый прототип, рабочие процессы меняются настолько сильно, что сравнивать текущий и прошлогодний периоды просто бессмысленно. «Когда в момент внедрения менялись бизнес-процессы, мы, как служба квалифицированного заказчика, подменяли собой бизнес-подразделения: они слишком заняты операционной деятельностью, и объяснить им, что не надо таскать круглое и катать квадратное, невозможно. Старайтесь договариваться о качественной оценке эффектов», — посоветовал Анисимов.

Детективная история

Как в колоссальных объемах доступной для анализа информации найти именно то, что нужно для ответа на текущий вопрос? Огромное количество рабочих пространств, содержащих небольшие разрозненные кусочки контекста, бесконтрольно ведущаяся документация, качество которой остается на совести ее составителя, — вот проблемы, которые знакомы многим крупным организациям. Проведенные пару лет назад опросы сотрудников «Тинькофф» показали, что хранилище в текущем виде «непознаваемо для пользователей», а поиск метаданных — «искусство, которому нельзя научить».

«У вас могут быть отличные метаданные, но если у пользователя нет инструмента для доступа к ним, то, к сожалению, они бесполезны», — заметил Дмитрий Пичугин, руководитель группы управления данными «Тинькофф».

По примеру таких авторитетов, как Google, Linkedin и Uber, в «Тинькофф» решили бороться с неполнотой документации и разрозненностью информации с помощью каталога данных, который должен стать «единой точкой правды» для всей экосистемы данных и удобным инструментом поиска нужных сведений, но главное — средством анализа зависимостей при движении данных от источника к точкам их применения и обработки, что крайне необходимо для отслеживания происхождения ошибок.

Экосистема ИТ-решений «Тинькофф», по большей части самописных, — очень сложная, поэтому к гибкости модели метаданных предъявляются довольно высокие требования и обязательной опцией при выборе каталога должен быть Data Lineage. «У нас бывает анализ зависимостей на тысячу нод, а иногда и больше, — поделился Пичугин. — Если не дать аналитикам удобный инструмент, то, скорее всего, через некоторое время они уволятся, не выдержав этой пытки». Так как ни одно из представленных на рынке решений всем критериям компании не удовлетворяло, пришлось строить каталог самим. В его основу положили идею комфорта пользователей: искать данные не должно быть сложнее, чем товары в интернет-магазине.

Так появился Data Detective — каталог для неквалифицированных пользователей, способный, как утверждают его создатели, вписаться в любой ИТ-ландшафт. Несмотря на то, что ранее запущенные решения никуда не делись, 85% пользователей сегодня предпочитают новый каталог, и более половины из них — бизнес-пользователи. В дальнейшем в «Тинькофф» намерены распространять Data Detective за пределами компании. Помимо «полировки» интерфейса, в ближайшие планы разработчиков входит внедрение инструментов для удобного отображения бизнес-глоссария любой структуры.

Медицинские данные, заслуживающие доверия

Использование электронных медицинских карт (ЭМК) в качестве источника данных для анализа сопряжено с такими объективными сложностями, как отсутствие единых форматов хранения записей и использование неструктурированного текста. Но и это еще не все. Половина ЭМК (51%) вообще не содержат медицинских данных — это просто записи в базе с ФИО и датами рождения пациентов. А оставшиеся 49% зачастую содержат фрагментарные сведения, ценность которых для анализа сомнительна. Кроме того, длительность наблюдения пациентов в большинстве ЭМК не превышает трех лет, то есть вероятность наличия в них ценных для прогностического искусственного интеллекта находок очень низка.

Александр Гусев: «Мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать»

Кроме того, есть и важный субъективный фактор, который серьезно тормозит развитие интеллектуальных продуктов в медицине, — отсутствие доверия к сделанным искусственным интеллектом выводам, обусловленное недоверием к качеству данных, на основе которых делаются эти выводы. «90% времени наших исследований связано с данными. Именно работа с данными определяет провал или успех», — считает Александр Гусев, сооснователь компании «К-Скай», которая занимается предиктивной медицинской аналитикой на основе технологий искусственного интеллекта. Чтобы сломать лед недоверия к выводам на основе анализа данных медкарт, в «К-Скай» разложили все накопленные данные по типам, видам и источникам и оценили с точки зрения рисков возникновения ошибок. Выяснилось, что есть существенный сегмент данных, где риск недостоверности составляет менее 1%, — это протоколы инструментальной и лабораторной диагностики, рецепты. Более половины всех данных ЭМК, включая заполненные по шаблону протоколы врачебного осмотра и автоматически сгенерированные выписные эпикризы, попали в зону умеренного риска с вероятностью возникновения ошибки 1–5%. И лишь 5% данных — заключительные диагнозы, карты выбывших из стационара, талоны амбулаторного приема — находятся в зоне высокого риска с вероятностью ошибки более 5%. Таким образом, руководители, принимающие решения об использовании врачами систем-помощников, стали четко понимать, каким данным можно доверять, а какие ставить под сомнение.

Затем в «К-Скай» стали изучать причины возникновения аномалий в сырых данных, паттерны поведения врачей и даже оценивать влияние качества интерфейса ЭМК на полноту данных. «В итоге мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать», — сообщил Гусев.

Самообслуживание в работе с данными становится мейнстримом: тему развития сервисов самообслуживания так или иначе затронули практически все представители бизнеса, выступившие на форуме «Управление данными — 2022», организованном издательством «Открытые системы». Даже функции обеспечения информационной безопасности в какой-то части делегируются сотрудникам бизнес-подразделений (см. врезку «Защита данных в документах: cам себе админ»). Представители компаний Tele2, «Уралхим» и «Газпром нефть» в своих выступлениях фокусировались главным образом на самообслуживании в области бизнес-аналитики.

Tele2: девять «пилотов» сразу

После ухода из России западных вендоров, на основе решений которых были построены бизнес-процессы Tele2, компания столкнулась с серьезными проблемами. Особенно болезненной оказалась ситуация с BI-системой Tableau: ее использовали многие разработчики, а кроме того, с ее помощью составлялось множество отчетов, пробуксовка в выдаче которых грозила замедлением процессов и потерей прибыли.

Чтобы спасти положение, команда экспертов провела анализ рынка и, изучив полтора десятка решений, запустила сразу девять пилотных проектов, подключив к корпоративному хранилищу девять BI-систем. Затем вместе с бизнес-пользователями отобрали 30 наиболее важных дашбордов и один из них (конкурсный) реализовали с помощью интегратора на всех девяти платформах. Получив отчеты и заполнив чек-листы, в компании оценили результаты, выбрали победителя и приступили к самостоятельному проведению миграции. Сейчас все критичные дашборды находятся в системе Fine BI, а разработку в бизнес-аналитике и по некоторым другим направлениям полностью ведут пользователи.

«Self-service — не хаос, им можно управлять. Без наших бизнес-разработчиков мы не смогли бы перейти на новую BI-платформу всего лишь за месяц, обеспечив собственными силами все потребности бизнеса в данных», — резюмировал Александр Снытко, руководитель службы поддержки и развития инструментов бизнес-аналитики Tele2. По его словам, активные и заинтересованные в корректном описании всех объектов данных бизнес-разработчики становятся адептами культуры data-driven. И убеждать их пользоваться новым инструментом не приходится, поскольку они сами его протестировали и выбрали.

Ударный год «Уралхима»

В «Уралхиме» и раньше продуктивно работали с данными: тут и искусственный интеллект, сортирующий заявки на первой линии поддержки и даже управляющий производственной установкой, и роботы, формирующие справки 2-НДФЛ. А в начале текущего года в компании запустили платформу, которая дает бизнесу возможность работать с данными самостоятельно. Доставка данных на базе гибридной инфраструктуры происходит для бизнеса бесшовно.

Владимир Вавра: «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям»

«Если мы хотим стать data-driven-компанией, а мы такую технологическую цель перед собой поставили, то дальше надо идти совместно с бизнесом, ведь бесконечно расширять штат айтишников — это безумие, — заявил Дмитрий Шведов, заместитель руководителя департамента цифровизации ОХК «Уралхим». — Мы сразу фокусировались на ключевых селф-сервисах, и BI — одно из ведущих направлений».

В компании запустили школу аналитиков данных с защитой проектов, выполненных на платформе, и бизнес с энтузиазмом воспринял эту инициативу. В школе проходят обучение 1200 сотрудников, и эффект внедрения культуры управления данными уже заметен, сообщил Шведов.

Требования бизнеса к инфраструктуре и сервисам работы с данными постоянно меняются, и подстраиваться под них приходится быстро. В этом году в дата-офисе сосредоточились на качестве данных и реализовали два десятка автоматизированных проверок качества по заданной бизнесом методологии. Сравнение затрат времени и ресурсов на выработку одних и тех же решений подтверждает эффективность оптимизации. «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям», — отметил Владимир Вавра, руководитель отдела инфраструктуры данных ОХК «Уралхим».

«Газпром нефть»: бонусы самостоятельности и мини-CDO

Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь, уверен Виталий Когтев, руководитель направления по качеству данных управления по организации работы с данными дирекции экономики и корпоративного планирования «Газпром нефти». В компании уже несколько лет работает школа аналитики, через которую прошли около 200 пользователей. Многие из них являются ответственными за данные и сами настраивают аналитические панели на основе шаблонов для решения своих актуальных задач. А теперь бизнес-пользователи получили инструменты для самостоятельного мониторинга качества данных.

Виталий Когтев: «Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь»

Незапланированным бонусом перехода на самообслуживание стала поддержка импортозамещения ПО: поскольку используются несколько инструментов мониторинга качества данных с последующей консолидацией метрик, внедрение нового ПО проходит достаточно плавно, отметил Когтев. Кроме того, самообслуживание в BI стимулировало каталогизацию данных — нудный процесс, которым бизнес обычно не особо хочет заниматься. Но теперь создание наглядных и понятных аналитических панелей стало соревновательным процессом, участники которого стараются максимально качественно описать необходимые элементы данных в каталоге. Не менее ценным стало и развитие новых навыков у сотрудников: аналитики с удовольствием обучились создавать аналитические приложения.

В лаборатории данных блока разведки и добычи «Газпром нефти» тоже совершенствуют self-service BI, улучшают магазин данных и каталог данных, а также укрепляют команду поддержки. Для управления данными в дочерних обществах, в «Газпром нефти» ввели функцию «мини-CDO». А «дочки» в компании немаленькие: например, в Заполярье трудятся около 1800 территориально распределенных сотрудников. «Если компания крупная, обязательно нужны люди на местах, которые выполняют роль CDO: внедряют продукт, общаются с бизнесом на его языке и готовы сразу интерполировать производственные задачи, предлагая подходящие для их решения дата-продукты», — отметил Александр Егоров, руководитель программ по управлению данными компании «Газпромнефть-Заполярье». Чтобы извлекать информацию и передавать ее до дашборда, лаборатория данных использует платформу Qlik Sense. Теперь, согласно дорожной карте импортозамещения, идет переход на Luхms BI. В части self-service BI здесь провели апробацию возможностей нового решения и передали разработчикам список замечаний и предложений для их возможной реализации в следующем году.

В Группе компаний «Газпром нефть» реализована полноценная платформа управления данными. Реализуемые инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. В результате появилась прозрачность данных, обеспечено единое их понимание, достигнут быстрый доступ к данным и доверие к ним со стороны бизнеса. О реализации проекта рассказала Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть».

— Когда была начата реализация комплексной программы по управлению данными в «Газпром нефти», каковы были предпосылки? На что рассчитывали?

В 2018 году в «Газпром нефти» были начаты глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях сформировалось полное осознание, что без данных цифровая трансформация не осуществима, и возник комплексный запрос на выстраивание процессов управления данными – обеспечение быстрого доступа к качественным данным для повышения эффективности процессов компании и качества принимаемых управленческих решений за счет использования данных и цифровых двойников. Реализация комплексной программы по управлению данными была начата в 2019 году.

— Что представляет собой программа?

Реализация комплексной программы по управлению данными включает формирование методологии, выстраивание процессов управления данными и встраивание их в регулярную деятельность подразделений, внедрение платформы управления данными на базе наиболее современных инструментов. Кроме того, в ее рамках формируются и развиваются как специализированные компетенции, так и компетенции бизнеса по работе с данными.

— В прошлом году вы принимали участие в CDO Award и стали лауреатом в номинации «За обеспечение качества данных». Что изменилось за этот год?

Самым важным стало дальнейшее вовлечение бизнес-пользователей в процесс «Управление качеством данных». В частности, за год использования методологии и инструментов проработано и зарегистрировано в каталоге данных 1343 бизнес-требования к качеству данных для 12 доменов данных (предметных областей), поставлено на мониторинг более 160 технических проверок качества данных, устранено более 120 тыс. инцидентов качества данных.

— Что стало самым сложным в реализации этого проекта?

Наиболее сложным является проведение культурных изменений, связанных c существенными изменениями в ключевых процессах по работе с данными.

— Что стало главным достижением? Чем можно гордиться?

Нами реализована полноценная платформа управления данными. В инструменте «Глоссарий» описано более 8 тыс. элементов данных, более 40 систем-источников данных интегрировано с каталогом данных. На портале управления данными (УпД) зарегистрировано более 1,4 тыс. уникальных пользователей, 71 тыс. просмотров разделов портала. Более 600 элементов данных имеют проверку качества данных с использованием инструментов качества данных, реализовано более 3 тыс. бизнес-правил, более 650 автоматизированных проверок качества данных. Более 147 тыс. ошибок исправлено по результатам мониторинга; в рамках развития процесса качества данных в 2021 году был создан модуль управления инцидентами и проблемами качества данных.

В системах НСИ размещено более 3,2 тыс. объектов (справочники, классификаторы, реестры, каталоги и др.), осуществлена интеграция более чем с 70 информационными системами при помощи около 1,2 тыс. сценариев интеграции. В рамках работы по направлению «Аналитика BI» (в том числе self-service) опубликовано 125 аналитических приложений, подключены данные из четырех корпоративных хранилищ, создано более 20 дата-сетов.

Более 36 тыс. уникальных пользователей (более 7,5 тыс. в мес.) реализуют работу с неструктурированными данными в корпоративном поиске, осуществляя более 1,6 тыс. поисковых запросов в день по 25,7 млн доступных в поиске документов.

Для повышения уровня компетенции нами проведено более 80 онлайн-обучений и 147 инфо-сессий, разработано два электронных курса на кафедре УпД Корпоративного университета «Газпром нефти», основам управления данными обучено более 800 сотрудников. Кроме того, разработаны три обучающих программы на базе «Школы аналитики», обучено более 60 сотрудников.

— А к чему еще можно стремиться?

В настоящее время мы заканчиваем опытно-промышленную эксплуатацию корпоративных панелей качества данных, представляющих собой единое окно для потребителей, в котором будут собраны метрики качества данных из всех корпоративных систем мониторинга. Работаем над внедрением корпоративного магазина данных и развитием дата-сервисов.

— Насколько заметным стал более простой доступ к данным? Как изменились процессы, как это отразилось на времени доступа?

Благодаря комплексной программе по управлению данными был подготовлен инструментарий, позволяющий управлять доступом к данным на основе метаданных. Доступ будет предоставляться на основе бизнес-роли сотрудника и тегов информационной безопасности, присвоенных данным. Существенная часть доступов будет предоставляться по умолчанию. В настоящий момент этот инструментарий уже подготовлен для проведения опытно-промышленной эксплуатации.

Также в программе проведен пилот по реализации логического хранилища данных, что позволит дополнительно повысить доступность данных, позволяя не только получить доступ, но и оперативно решать комплексные задачи, требующие задействования данных из различных источников.

— Какие результаты достигнуты?

Программой охвачено более 50 проектов и более 15 доменов данных, в рамках которых развиваются ключевые направления управления данными. Основные экономические и нематериальные эффекты программы основаны на переиспользовании данных, ускорении реализации цифровых продуктов, сокращении времени на анализ и поиск качественной информации, а также снижении трудозатрат как на этапе обследования систем-источников, так и при подготовке проектной документации. Отдельно можно выделить повышение качества управления, основанного на данных.

— В чем роль проекта для бизнеса компании?

Реализуемые нами инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. Повышается прозрачность данных за счет создания единого источника информации о данных (бизнес-глоссарий) и правил управления данными группы «Газпром нефть», обеспечивается единое понимание данных: терминологии, взаимосвязей между бизнес-терминами и источниками данных, методологии расчетов, достигается быстрый доступ к данным и повышение доверие к ним со стороны бизнеса. Важную роль также играет повышение аналитичности данных за счет внедрения инструментов self-service BI.

— В чем выражается доверие пользователей к данным? Как понять, что оно есть?

Доверие пользователей отражает степень их уверенности в том, что представляемые данные полностью соответствуют описанию (бизнес-описание, родословная, информация об актуальности и оценки качества данных) и обеспечены поддержкой, гарантирующей актуализацию этого описания в последующем. Это позволяет использовать данные с прогнозируемым результатом не только в моменте, но и реализовать процессы и функционал, работающие на постоянной основе в долгосрочной перспективе. Как результат, доверие пользователей выражается в готовности максимально оперативного применения данных без дополнительных мер по их проверке, без потерь времени на поиск и ожидание консультаций от экспертов отдельных бизнес-систем или предметных областей.

Таким образом, для тех команд аналитиков, разработчиков и архитекторов, которые участвуют в анализе исходных данных, проектировании и разработке, индикатором доверия к данным является интенсивность использования ими бизнес-глоссария, каталога данных, мониторов качества данных с одной стороны и сокращение времени разработки продуктов как результат отсутствия затрат времени на перепроверку данных перед их применением.

Что касается менеджмента компании, то в этом случае индикатором доверия к данным является отказ от предварительной перепроверки информации, представленных в отчетах и дашбордах. Это приводит к сокращению времени на принятие решений.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, как их число изменилось за последнее время? Есть ли показатель, к которому стремитесь?

У пользователей велик интерес к инструменту самостоятельной аналитики, и наблюдается готовность переходить со стандартной и привычной аналитической отчетности к гибким механизмам самостоятельного анализа данных. Распространение self-service BI находится в самой активной фазе, и за прошлый год количество пользователей увеличилось в два раза. В этом году планируется дальнейшее развитие и еще более высокий рост, так как помимо развития самого инструмента, уже на год вперед расписан план обучения сотрудников в «Школе аналитики».

В рамках развития self-service BI также прорабатывается вопрос с импортозамещением, в прошлом году был осуществлен выбор платформы и проведена апробация. В этом году стартуют активности по переводу функционала self-service BI на новую импортонезависимую платформу и обучению сотрудников.

— В каком направлении планируете развиваться?

Мы будем продолжать развивать свою функцию по всем ключевым направлениям – методология, инструменты, компетенции – для обеспечения максимального эффекта от внедрения процессов управления данными и достижения компанией статуса data-driven согласно международной методологии DCAM.

Управление на основе данных постепенно превращается из роскоши в необходимость для организаций любого масштаба и отраслевой принадлежности. Однако внедрение подходов data-driven — сложный проект, затрагивающий все аспекты деятельности организации: от технологий до управленческих практик, бизнес-процессов и культуры. Форум «Управление данными — 2021», организованный издательством «Открытые системы», охватил все эти направления. У компаний постепенно накапливается опыт «правильной» работы с данными, что отражается и на программе форума: с каждым разом все больше места в ней отводится практике.

«Умейте выжидать, умейте нападать…»

У каждой организации свои цели, видение и миссия, свои потребности, особенности и окружающая среда. Именно поэтому универсальных рецептов в управлении данными не существует, компаниям многое приходится придумывать самим. Тем не менее, по мнению Александра Погосьяна, исполнительного директора по направлению «Качество данных» в «Сбере», все стратегии по управлению данными можно разделить на два типа: «защита» и «нападение».

Александр Погосьян: «При выборе стратегии управления данными не стоит ударяться в крайности»

«Защита» подразумевает обилие регуляторных ограничений и приоритет требований безопасности. Но когда ограничений не слишком много, можно уделить гораздо больше внимания «нападению» — захватывать рынок и развиваться. По словам Погосьяна, типичная отрасль, для которой характерна стратегия защитного типа, — здравоохранение, а атакующего — ретейл; финансовый сектор находится примерно посередине. Эти стратегии отличаются технологическими и организационными особенностями. Например, для защитной стратегии характерна высокая степень централизации; это касается и функции CDO, и бюджета. В ее рамках все централизовано и часто доминирует теория: тратится много усилий на создание «единой версии правды», единых стандартов, политик, методик.

Когда же преобладает нападение, приоритет получает децентрализация. Функция CDO расплывается по бизнес-подразделениям, формирующим собственные бюджеты. И подразделения при работе исходят из собственных, сугубо практических задач.

«Как и в спорте, защиту выстроить проще, поэтому компании обычно начинают с нее, а затем переходят к нападению. Обратный подход гораздо сложнее», — отметил Погосьян. Тем не менее, как обычно, не стоит ударяться в крайности. Должен быть баланс между развитием бизнеса и соблюдением комплаенс-требований.

По-прежнему с бубнами

«Счетная палата является одним из лидеров цифровой трансформации органов государственной власти, цифровизируются и объекты ее контроля. Но в реальной работе мы сталкиваемся с тем, что без танцев с бубнами никак не обойтись. Очень печально, что государственным органам не удается выбрать другую музыку», — посетовал Валерий Сохоров, руководитель центра экспертно-аналитических и информационных технологий Счетной палаты РФ.

Валерий Сохоров: «85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом»

Казалось бы, все необходимые системы внедрены и работают, но по факту инспекторы продолжают работать в электронных таблицах и текстовых документах. Дело в том, что органы власти не слишком сильно хотят делиться информацией не только с бизнесом, но и с органами аудита. Логика очевидна: если данные будут слишком хороши, то с их помощью будет легче выявить нарушения и наказать за них. Как подчеркнул Сохоров, 85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом.

В Счетной палате работают более 700 инспекторов, которые проводят в среднем 150 проверок в год. В этих условиях Счетная палата остро нуждается в комплексной системе управления данными. Если возникает необходимость проверки, инспектор должен обращаться не к объекту контроля и тратить время на взаимодействие с ним, а непосредственно к данным.

В 2021 году в Счетной палате была создана единая команда по работе с данными, в которую, помимо «технарей» и дата-аналитиков, входят 52 дата-стюарда, являющихся, по словам Сохорова, «переводчиками между айтишниками и чиновниками».

Путь осознанного потребления

«В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных», — считает Полина Минеева, руководитель практики Applied Intelligence в Accenture.

Полина Минеева: «В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных»

Действительно, все компании начинали свой путь к управлению данными с проектов, заключающихся в разработке стратегии использования данных и повышения их качества, стремясь ускорить получение регуляторной и управленческой отчетности. Эти проекты реализовывались исключительно по требованию регуляторов и руководства компании. Они характеризовались жестко централизованной моделью и созданием единого центра компетенций внутри организации. Впоследствии приоритеты существенно изменились: компании начали управлять данными, потому что увидели в этом ценность для себя. Как результат, в ходе проектов стали появляться два-три центра компетенций, в бизнесе произошла федерализация данных. Изменились и технологии: на смену традиционным хранилищам данных пришли гибридные решения и микросервисная архитектура.

Сейчас наблюдается новая тенденция, — data minimalism: происходит переход от больших (big data) и умных данных (smart data) к minimum viable data — минимально необходимым данным для создания конкретного информационного продукта. Такая осознанная фильтрация данных не только сокращает стоимость их хранения и обработки, но и, например, позволяет четко ответить клиентам на вопрос, какие данные о них собираются и с какой целью.

Большие данные для малых предприятий

Поставщики данных и аналитических сервисов на их основе предполагают, что потребители их продуктов – также крупные компании, использующие аналитику для поддержки принятия решений. Поэтому и соответствующие сервисы, в первую очередь, ориентированы именно на такие организации. Малому бизнесу, не имеющему собственных аналитических ресурсов, приходится действовать наощупь. Как следствие, большинство из мелких компаний живут очень непродолжительное время.

«Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов. Крупный бизнес для этого привлекает консалтинг и пользуется услугами профессионалов высокого класса, а у ‘малышей’ таких возможностей нет», — подчеркнула Мария Поликанова, управляющий директор SberData и руководитель стратегического комитета Ассоциации больших данных. Предпринимателям нужна поддержка принятия решений: отчеты, фактически обрисовывающие перспективы на ближайшее будущее, а в идеале – финансовый план на три года.

Мария Поликанова: «Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов»

Поликанова рассказала о том, как большие данные помогают развиваться малому и микробизнесу. Участниками Ассоциации больших данных создан рекомендательный сервис «Собственное дело» для малого бизнеса. Он использует обезличенные данные из различных отраслей и вошел в перечень проектов в области цифровых инноваций, для которых вводится особый экспериментальный правовой режим. Сервис дает возможность правильно выбрать локацию для своего бизнеса и задать его параметры: необходимые инвестиции, окупаемость проекта, оборудование и персонал, ценовая политика и план продаж.

Без бизнеса не обойтись

«Далеко не все аналитические проекты являются успешными. Где-то нарушается бюджет, где-то — сроки, где-то достигаются не все цели. Всегда что-то может пойти не так», — признал Иван Вахмянин, генеральный директор компании Visiology. По его убеждению, большая часть проблем связана не с технологиями, а с соответствием бизнес-задачам, наличием компетенций и готовности меняться. Основной эффект дает не само внедрение BI, а именно управление на основе данных. Для этого необходимы и качество данных, и корректная их обработка, и визуализация, и заточенность на предметную область. Но самое главное — должны быть внедрены соответствующие управленческие практики. Если менеджеры не привыкли работать с данными и не верят в это, то им не помогут даже лучшие инструменты.

«Большое количество возникающих в ходе проектов проблем связано не с техническими решениями, а с неверным подходом. Пробивать лбом стены — не самое правильное занятие», — согласился Олег Гиацинтов, технический директор DIS Group.

Роль CDO в компании до сих пор размыта, на него часто взваливают много лишнего. Например, его обязанности могут включать защиту и обеспечение безопасности данных, создание аналитических систем. В результате Data Governance в компании часто остается «на бумаге», за теоретической деятельностью не доходит до реальной работы с данными. Отсутствие реального финансового эффекта предсказуемо приводит к смене CDO. Гиацинтов привел примеры «лучших практик» CDO-долгожителей: необходима стратегия управления данными; нужны наглядные примеры того, как аналитика данных может стимулировать бизнес-результат; в обязательном порядке следует выбрать одного-двух передовых директоров для поддержки и показать другим руководителям результаты их работы.

К слову, именно таким путем пошла Светлана Бова, CDO ВТБ, заручившись в начале своей работы поддержкой департамента рисков. Она рассказала о выстраивании в банке карт потоков данных — data lineage. Наличие такого инструмента радикально сокращает время решения аналитических задач. Возможно, он не обязателен для небольших компаний, но когда речь заходит о больших масштабах, то все меняется. Например, такой подход позволяет просчитать, на какие из систем повлияет изменение части корпоративного ландшафта, а также серьезно помогает в решении инцидентов, касающихся качества данных.

«Наша цель — стать data-driven-компанией. Самое привлекательное в этом — возможность отдать рутинные процессы искусственному интеллекту, а человеку оставить лишь стратегические задачи», — заявил Сергей Иванов, CDO «Уралхима». Чтобы это стало реальностью, нужна трансформация культуры и открытость бизнес-подразделений новшествам, их помощь в создании цифровых продуктов. Как подчеркнул Иванов, пока бизнес не вовлечен в этот процесс, серьезного эффекта не будет. Как следствие, на первый план у ИТ-подразделения выходят задачи по обучению бизнеса.

«Данные — это актив. Мы просчитали, что произойдет, если не будет соответствия между одинаковыми продуктами в разных странах, и результаты нас впечатлили», — рассказала Анна Дудина, руководитель функции по управлению мастер-данными IDS Borjomi International. Сразу после восприятия данных как актива естественным образом встает вопрос управления ими и контроля их качества. Актив необходимо описать и оценить, и он должен иметь хотя бы одного бизнес-владельца, а в идеале — ровно одного. Кроме того, данные публикуемые цифровыми продуктами, должны ссылаться на описание используемых активов данных.

В 2020 году в IDS Borjomi International был начат масштабный MDM-проект, в ходе которого пришли к необходимости создания совета по управлению данными (data council) — совещательного органа, на котором принимаются решения, связанные с анализом данных, а также с планированием и контролем работы с данными.

В пивоваренной компании «Балтика» тоже разработали ролевую модель, привлекающую бизнес-функции к управлению данными. «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества», — уверена Варвара Макарьина, отвечающая в компании «Балтика» за реализацию стратегии Data Governance. Практика показывает, что до 30% времени сотрудников тратится на поиск данных и оценку их качества. Более того, часто компании зависят от экспертов, которые знают о данных все и уход которых может стать катастрофой. Внедрение в «Балтике» каталога данных позволило решить эти проблемы.

Варвара Макарьина: «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества»

«В онлайн-продажах, в отличие от традиционного ретейла, решение о покупке зачастую принимается исключительно на основании представленной информации о товарах, поэтому качество данных приобретает критически важное значение», — отметил Юрий Кротков, менеджер проектов в «Яндекс.Маркете». Любой инцидент, связанный с качеством данных, влияет на продажи, а иногда и на логистические процессы. При этом в ряде случаев искажения в данные вносят умышленно — это делают с различными целями поставщики продукции и их партнеры. По признанию Кроткова, раньше в «Яндекс.Маркете» пытались «максимально эффективно тушить пожары». После внедрения решения Ataccama в компании появились дата-стюарды, настраивающие логику автоматического контроля качества данных.

***

Как отметили многие участники форума, до недавнего времени акцент делался исключительно на технологиях сбора и анализа данных, а управление ими отходило на второй план. И до сих пор компании часто не знают, кого нанимать на позиции, связанные с управлением данными, ведь эта функция у многих только создается. Более того, руководители и специалисты — от CDO до аналитиков — имеют субъективные представления о целях управления данными, часто оно сводится лишь к быстрой окупаемости проектов.

Согласно меткому высказыванию, коронавирус стал лучшим директором по цифровой трансформации – всего за год ему удалось то, на что в «мирное» время потребовалось бы долгое время. Многие утверждают, что за прошедший год, несмотря на все проблемы, в области работы с данными было сделано больше, чем за прошедшие 10 лет. Как отметили эксперты рамках форума INFADAY 2021, организованного компанией DIS Group, именно сейчас на первый план выходит задача создания корпоративной культуры управления данными.

Готовились долго, перешли за недели

«Компании долго готовились. К 2019-2020 году компании подошли с большим количеством инструментов, командами разработки, гибкими методологиями, инструментами управления данными», — констатировал Михаил Садофьев, руководитель направления продвинутой аналитики Accenture. Но прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Произошел и большой сдвиг с точки зрения информационной безопасности: компании сплотились, чтобы преодолеть неожиданный барьер. Узким горлышком стала правильная коммуникация между людьми, и в числе прочего, это повлияло на культуру работы с данными.

Михаил Садофьев: «Прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Узким горлышком стала правильная коммуникация между людьми, и это повлияло на культуру работы с данными»

Как подчеркнула Алевтина Тинас, руководитель отдела методологии, дирекции по управлению данными и контролю маржинальности бизнеса Tele2, прошлый год показал, насколько быстро при необходимости все мы умеем меняться. Конечно, это не было волшебством: все компании, успешно прошедшие сквозь сложный период, уже были готовы к изменениям. Тем не менее, Tele2, как и все компании, столкнулась с определенными сложностями.

«Мы увидели, что абоненты начинают пользоваться услугами в необычных местах, и пришлось оперативно развивать сети там, где они до сих пор не были востребованы», — отметила Тинас. Стали востребованными сервисы, связанные с государственными данными, в том числе в части предотвращения распространения коронавируса. Все это требовало большого объема оперативной работы.

Татьяна Борисова: «Прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании»

«Конечно, был вызов с точки зрения перехода на онлайн-формат. Пандемия дала развитие для него, но при этом мы увидели многие проблемы, которые подчеркнули важность работы с данными. И культуры работы с ними», — рассказала Татьяна Борисова, руководитель направления стандартизации данных и управления знаниями пивоваренной компании «Балтика». Если раньше сотрудники, находясь в офисе, могли спросить у коллег совета, то сейчас на лишние созвоны и совещания времени нет. Это показало важность создания единого места для хранения информации о данных.

«Наш банк давно работал над созданием стратегической финансовой модели, которая позволяла бы делать динамическое моделирование. Но лишь в условиях кризиса ее удалось завершить», — поделился Игорь Гончаров, руководитель службы управления данными и организационным развитием банка «Уралсиб». У руководства банка уже давно было ощущение, что нельзя по три года жить в рамках нескольких основных сценариев – от оптимистического до пессимистического, – ситуация меняется гораздо быстрее. А пандемия показала, что надо опираться не на долгосрочные прогнозы, а на возможность оперативно перестраивать свои планы.

Игорь Гончаров: «Именно культура определяет эффективность работы с данными. Это стиль мышления: я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений»

«Мы перешли на 'удаленку' за несколько недель. Для этого нужно было иметь и необходимый технологический ландшафт, и культуру управления, которую следовало изменить в считанные дни», — заявила Наталья Третьякова, руководитель управления организации работы с данными «Газпром нефть». Практике регулярного менеджмента были сильно изменены именно из-за того, что культура онлайн-общения совсем другая. В частности, пришлось сильно изменить управление проектами – требовалось очень быстро принимать решения в рамках крупных проектов.

Наталья Третьякова: «Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это»

Что такое культура работы c данными?

«Сейчас со всей очевидностью становится ясно, что именно культура определяет эффективность работы с данными, – уверен Гончаров. – Это другой стиль мышления, я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений». Если раньше многие организации опирались на экспертизу и опыт, особенно при принятии быстрых решений, то сейчас всё изменяется. Разрабатываются гипотезы, как дальше может развиваться организация, что может приносить прибыль, что выгодно клиенту. Проверка этих гипотез на реальных данных и порождает изменение культуры: представители топ-менеджмента действительно начинают мыслить категориями проверки гипотез. Прав не тот, кто более красноречив, а чьи доводы подкреплены данными.

Исследования, проводимые аналитиками, показывают: организации, изменившие культуру работы с данными, способы обработки информации, сейчас становятся гораздо более эффективными.

«Культура – это не процессы и инструменты, а то как они реально применяются в компании», — согласна Тинас. Все зависит от того, насколько много людей принимают решения, основываясь на данных, сколько из них осознанно используют данные – понимают, откуда они происходят, какого они качества, как эти данные используются в дальнейшем. Чем больше людей проникаются этой культурой, тем мощнее наблюдаемый эффект. Проблема в том, что именно культурные изменения – самые сложные.

«Культура работы с данными зависит от того, какие действия выполняет каждый сотрудник в своей ежедневной работе. Работа с данными должна стать рутинной для всех», — полагает Третьякова. До сих пор во многих компаниях знания о работе с данными передаются из уст в уста: получив успешный опыт, сотрудники транслируют его на своих коллег. Российская ментальность заключается не в чтении инструкций, а передаче лучших практик через «сарафанное радио». Как следствие у нас нормальной практикой становится распространение культуры через пилотные проекты, в которых сотрудники видят ценность лично для себя. Это более эффективный путь, чем любые изменения сверху.

Действительно важна заинтересованность топ-менеджмента и в целом идеология. Но самый лучший двигатель изменения – бизнес-кейсы. «Данные должны монетизироваться – и это не просто слова. Если мы найдем возможность строить новый бизнес или получать новую добавленную стоимость от работы с данными, это лучший путь к изменению культуры», — отметил Гончаров.

Возглавить «окультуривание»

В развитии культуры помогает социальный подход: внутри организации важно создать сообщество аналитиков и потребителей данных, чтобы появились горизонтальные связи и размылись стены между различными департаментами. Люди должны обмениваться не отчетами, вызывающими споры, а дата-сетами, где все прозрачно. Если такое сообщество будет создано, то это лучший двигатель развития культуры.

«Сообщества – это тренд, который развивает любую культуру», — говорит Тинас. Другой вопрос – как людей вовлекать в эти сообщества. Самые ценные его участники – эксперты, которые уже успешно используют данные. Но как замотивировать их делиться успехом с остальными? И как организовать сотрудничество большого количества людей и выровнять у них культуру работы?

«Мы сотрудничали с вузами, и несколько идей относительно внедрения культуры управления данными пришло от студентов. Например, использование геймификации, позволяющей вовлечь большее число участников», — отметила Борисова. Она считает, что прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании, и они имеют не меньшее значение, чем оборудование и основные средства. Через обучение и тренинги такое понимание можно привить.

Предоставляя доступ к данным большому числу пользователей, важно подчеркивать, что это единый источник правды. Не должно быть противоречивых данных; кроме того, необходим каталог, помогающий видеть единый порядок их интерпретации и трактовки. Иногда имеет смысл предусмотреть возможность задать вопрос владельцу данных. Имея такую прозрачную систему, и культуру строить проще, и времени на поиск информации будет уходить меньше. Это крайне важно, особенно на начальном этапе.

CDO-евангелист: один в поле не воин?

«При наличии единственного амбассадора и отсутствии вовлеченности к других сторон велик риск замедленного развития», – полагает Борисова. А вот наличие кросс-функциональной команды снижает риски и сокращает сроки. Именно такой подход является самым эффективным, и к нему стоит стремиться.

«Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это», — согласна Третьякова. Для этого нужна общая идея, общая цель и понимание того, что компания в итоге должна получить от этих серьезных инвестиций – ведь ресурсов действительно потребуется много. Если нет стратегии и цели, то такую группу евангелистов, понимающих, на какую цель они работают, создать сложно.

«Культуру сложно насаждать, она должна расти сама. Внешние усилия могут лишь поспособствовать росту», — уверена Тинас. Со стороны CEO требуется поддержка, со стороны CDO – обеспечение процессов и инструментов, со стороны HR – организация обучения. Но ключевую роль играют «евангелисты от бизнеса» – ключевые пользователи данных.

Разумеется, технологии важны: говорить про культуру работы с данными, имея в наличии лишь электронные таблицы и почту, сложно. Но она в любом случае должна распространяться личным примером, в идеале – со стороны руководства. Поддержка членов правления, хотя бы декларативная («Не приносите мне отчеты в Excel и не присылайте отчеты по почте»), очень важна и показывает остальным направление развития.