Управление данными

Информация всегда была ключевым ресурсом — и в личной жизни, и в управлении организациями, и в государственной деятельности. Она помогала принимать решения, планировать будущее и понимать окружающий мир. Однако термин «данные» в его современном значении вошел в широкий обиход лишь во второй половине XX века, когда информационные технологии начали менять нашу реальность. С развитием компьютеров, баз данных и сетей данные превратились из абстрактного понятия в конкретный актив цифровой экономики. Сегодня их называют «новой нефтью», подчеркивая их ценность. Но, как и с нефтью, качество этого ресурса определяет, принесет ли он пользу или станет источником проблем. Важно не только собирать данные, но и обеспечивать их качество, безопасность и возможность использования для создания ценности. В цифровой экономике качество данных стало критическим фактором успешности — как для бизнеса, так и для государственного управления.

Масштабы проблемы впечатляют. По данным исследования Gartner, компании ежегодно теряют до 30% выручки из-за низкого качества данных — ошибок, пробелов или несогласованности. Experian сообщает, что 91% организаций сталкиваются с финансовыми последствиями, вызванными «грязными» данными: от упущенных возможностей до прямых убытков. В России 72% компаний фиксируют финансовые потери из-за проблем с данными, а 36% признают, что им не хватает компетенций для управления быстро растущими объемами информации. Казалось бы, рост применения цифровых технологий должен решать эти вопросы, автоматизируя процессы и повышая точность. Но на деле он часто их усугубляет: чем больше данных, тем сложнее следить за их качеством.

При этом цифровая экономика все больше опирается на ИТ, которые зависят от качественной информации. Искусственный интеллект (ИИ), машинное обучение (ML), большие данные (Big Data) и аналитика в реальном времени — это инструменты, которые преобразуют бизнес и управление. Например, ИИ может прогнозировать спрос, оптимизировать логистику или выявлять мошенничество, но только если данные точны и актуальны. Машинное обучение строит модели на основе исторических данных — если они содержат ошибки или дубликаты, модель будет выдавать неверные результаты. Аналитика Big Data помогает находить закономерности в огромных массивах информации, но без стандартизации и достоверности она теряет смысл. Даже простые системы автоматизации, такие как CRM или ERP, зависят от качества данных: неверный адрес клиента в CRM приведет к сбою доставки, а ошибки в ERP исказят финансовые отчеты. Таким образом, технологии не просто решают проблемы — они требуют качественного «сырья», чтобы работать эффективно.

Почему же рост технологий не устраняет проблему, а порой делает ее острее? Чем больше данных мы собираем, тем сложнее их контролировать. Чем шире применяем ИИ и аналитику, тем выше цена ошибки. В этой статье мы рассмотрим подход к управлению качеством данных, который поможет организациям не утонуть в цифровом потоке, а использовать его для достижения целей. Мы разберем, как связать данные с результатами, какие аспекты качества важны и как современные технологии могут стать союзниками, а не источником новых вызовов.

Подход к анализу качества данных

Для анализа качества данных воспользуемся моделью DIKAR, связывающей данные с конечными результатами, а также десятью аспектами качества данных по DMBOK. Модель DIKAR описывает путь от данных к результатам: Data (данные) → Information (информация) → Knowledge (знания) → Action (действия) → Results (результаты). Она показывает, как качество данных влияет на решения и успех и используется для анализа управления информацией. Предлагаем рассмотреть проблему качества данных через три перспективы:

• Перспектива владельца данных определяет, какие данные должны собираться и обрабатываться.
• Перспектива обработки данных в информационных системах фокусируется на стандартизации, верификации и доступности данных.
• Перспектива анализа данных оценивает пригодность данных для принятия решений.

Три перспективы качества данных: ролевая модель

Управление данными — междисциплинарная деятельность. Чтобы понять качество данных, нужно взглянуть на него с разных сторон. Представьте: вы собираете паззл, но у вас есть только часть деталей. Как собрать целую картину? Мы предлагаем разделить задачу на три перспективы, которые отражают роли участников процесса. Эти роли могут пересекаться, но каждая из них вносит уникальный вклад в общее понимание качества данных.

1. Перспектива владельца данных

Кто лучше всех знает, какие данные нужны для работы? Конечно, тот, кто ими владеет и отвечает за деятельность, связанную с ними. Владелец (информации) данных — это человек или подразделение, которое создает информацию и заинтересовано в ее контроле. В российском контексте это закреплено в 149-ФЗ, ГОСТ Р 50922-96, Гражданском кодексе РФ, где подчеркивается важность управления информацией как ресурсом.

Для владельца данных качество определяется следующими аспектами: полнота (собраны ли все необходимые данные), точность (соответствуют ли они реальности), актуальность (обновляются ли они вовремя) и защищенность (безопасны ли данные с точки зрения конфиденциальности).

Если данные неполные или устаревшие, владелец теряет контроль над своим ресурсом. Вы бы доверили управление бизнесом информации, в которой не уверены?

2. Перспектива обработки данных в информационных системах

Теперь перенесемся в мир ИТ. Здесь данные превращаются из абстрактного ресурса в рабочий инструмент, готовый к использованию в цифровой экономике. ИТ-подразделения обеспечивают обработку, стандартизацию и доступность данных, задавая скорость и масштаб принятия решений в организациях. Их роль — это не просто техническая поддержка, а критический этап жизненного цикла данных, где хаотичный поток информации превращается в структурированный актив. Без качественной обработки данные остаются сырыми и бесполезными, как необработанная руда, из которой нельзя сразу сделать инструмент. Качество определяется следующими аспектами:

• Стандартизация: данные должны соответствовать единому формату. Например, даты в виде «01.01.2025», а не смесь «январь 25» и «25/01», чтобы системы могли их корректно интерпретировать.
• Верификация: отсутствие дубликатов или противоречий. Если одна система показывает 100 продаж, а другая — 90, то это подрывает доверие к данным.
• Доступность: легкость извлечения данных. Если аналитику нужно неделю копаться в старой базе, чтобы найти нужные записи, данные теряют свою ценность.
• Стабильность: целостность данных при передаче между системами. Например, при интеграции CRM и ERP информация о заказах не должна искажаться или теряться.

Если система выдает ошибку из-за несогласованных данных — скажем, клиентский заказ дублируется в базе из-за сбоя синхронизации, — весь процесс останавливается: доставка задерживается, отчеты искажаются, доверие к системе падает. ИТ отвечает за очистку и доставку данных, превращая их в надежный инструмент. Рассмотрим пример: компания, стремящаяся увеличить продажи на 10%, зависит от ИТ, чтобы интегрировать данные о заказах из разных филиалов, устранить дубликаты и обеспечить их доступность для аналитиков в реальном времени. Без этого усилия владельцев данных по сбору информации о клиентах окажутся напрасными, а аналитики не смогут построить точные прогнозы.

3. Перспектива анализа данных

Наконец, данные доходят до тех, кто использует их для принятия решений — аналитиков и руководителей, применяющих подход data-driven. Это последний этап, где данные превращаются в ценность для бизнеса: стратегии, прогнозы, операционные улучшения. Качество здесь определяется:

• Достоверностью: основаны ли данные на фактах? Если записи о продажах содержат ошибки, прогнозы будут ложными.
• Релевантностью: подходят ли данные для задачи? Устаревшая информация о спросе бесполезна для текущего планирования.
• Интерпретируемостью: понятны ли данные с метаданными? Без контекста (например, откуда взялись цифры) они теряют смысл.
• Интегрируемостью: можно ли объединить данные из разных источников? Например, сочетание продаж и погодных данных дает более точные тренды.

Недостоверные данные ведут к катастрофам: неверный прогноз спроса может привести к перепроизводству или дефициту товара. Стоит ли доверять стратегии, построенной на «грязных» данных?

Эти три перспективы взаимосвязаны: проблемы на одном этапе — например, неполные данные у владельца — тянут за собой ошибки в обработке ИТ и провалы в анализе. Разделение позволяет структурировать подход и выявить слабые места в цепочке управления данными.

Роль CDO: стратегический координатор баланса

В условиях экономики данных управление качеством становится все более сложной задачей. Объемы информации растут с каждым днем, процессы усложняются из-за интеграции новых технологий и систем, а ответственность за данные распределяется между множеством участников — от операционных отделов до ИТ и аналитических команд. Кто же должен держать все под контролем? Chief Data Officer (CDO) выступает стратегическим координатором, а не просто исполнителем отдельных задач. Его миссия — не утонуть в операционной рутине, а выстроить систему, которая обеспечит качество данных на всех уровнях. Как сделать управление эффективным, избегая громоздкости и хаоса? Здесь нам помогает принцип Эшби («управляемая система не должна быть сложнее управляющей»), предлагающий баланс между структурой и гибкостью.

Организация — как оркестр: владельцы данных, ИТ и аналитики играют свои партии. Без координации это превращается в хаос, где каждый тянет в свою сторону. CDO — дирижер, задающий гармонию, чтобы разрозненные усилия стали единой системой. Система данных сложна: множество источников (CRM, ERP, внешние API), форматов (структурированные таблицы, неструктурированные тексты), проблем (дубликаты, несогласованность, устаревшие записи). Если управление пытается копировать этот хаос — вводя бесконечные правила, избыточные проверки и провоцируя конфликты ролей, — оно становится неэффективным и превращается в бюрократический кошмар. Принцип Эшби требует от CDO найти баланс: система управления должна быть структурированной, а не хаотичной, как сами данные, но при этом достаточно гибкой, чтобы держать ключевые аспекты под контролем.

Структурированность достигается через несколько подходов. Во-перввых, это единые стандарты: использование фреймворков вроде DMBOK, которые охватывают полноту, точность и другие аспекты качества, задает общие правила игры для всех участников. Во-вторых, автоматизация: мониторинг согласованности и целостности данных с помощью инструментов (например, ETL-процессов, систем MDM, Каталог данных) снижает нагрузку на людей и ускоряет процессы. Наконец, распределение ролей: владельцы данных отвечают за актуальность, ИТ — за целостность и доступность, аналитики — за релевантность и интерпретируемость.

Например, в компании внедряют новую CRM-систему для управления клиентскими данными. CDO координирует усилия: владельцы данных (отдел продаж) регулярно обновляют записи о клиентах, ИТ синхронизирует CRM с другими системами (например, складским ПО), а аналитики используют обработанные данные для прогнозирования спроса. Без такой координации данные о клиентах могли бы устареть, синхронизация — дать сбой, а прогнозы — оказаться бесполезными. Хаос укрощен четкой системой, где каждый знает свою роль.

Главный продукт CDO — это не исправленные данные, а система договоренностей о критериях качества и его стоимости. Сколько стоит актуальность данных в реальном времени? CDO помогает бизнесу понять: 1% роста точности прогнозов может окупить затраты на внедрение системы мониторинга — например, потоковой обработки данных для анализа поведения клиентов. Data-контракт становится инструментом, который фиксирует эти ожидания: владельцы определяют, какие данные критически важны (например, записи о заказах), ИТ гарантирует их обработку и доступность, аналитики подтверждают пригодность для стратегических решений. CDO внедряет политики защиты данных и контроля доступа, поддерживая безопасность и репутацию, а также организует обучение сотрудников новым методам анализа.

Это «дорожная карта», где прописаны роли, стандарты качества и зоны ответственности, упрощая координацию и снижая риски недопонимания между участниками процесса. Управление остается структурированным (четкие роли, стандарты, автоматизация), эффективным (охват всех ключевых аспектов качества, от полноты до надежности), гибким (адаптация к изменениям, таким как добавление новых источников данных или требований бизнеса).

Вопрос к вам: если бы вы были CDO, как бы вы организовали управление данными в своей организации?

От результата к данным

Любая деятельность организации направлена на достижение определенного результата: увеличение прибыли, повышение эффективности процессов, соблюдение нормативных требований или улучшение клиентского опыта. Это требует затрат ресурсов — временных, финансовых, человеческих. В условиях цифровой экономики важнейшую роль в этом процессе играют данные, которые становятся основой для принятия решений на всех уровнях. Однако связь между данными и результатами часто недооценивается: многие организации либо не осознают ее значимости, либо воспринимают как нечто само собой разумеющееся, упуская из виду необходимость контроля качества. Согласно модели DIKAR, для достижения результата необходимо пройти путь:

1. Данные: владельцы и ИТ задают стандарты и источники, собирая сырую информацию.
2. Информация: офис CDO и ИТ-подразделения структурируют и обрабатывают данные, превращая их в осмысленные отчёты, готовые для анализа.
3. Знания: аналитики выявляют тренды и закономерности на основе этой информации.
4. Действия: руководители и операционные менеджеры реализуют стратегии, опираясь на знания.
5. Результаты: конечные итоги, измеряемые конкретными показателями — выручка, скорость процессов, удовлетворенность клиентов.

На практике же компании нередко пытаются «перепрыгнуть» через этапы: решения принимаются интуитивно, без четкой привязки к информации и знаниям, а проблемы с качеством данных выявляются только на этапе анализа результатов, когда исправить что-либо уже дорого и сложно. Например, если данные о продажах содержат дубликаты, отчет покажет завышенные цифры, знания окажутся ложными, а решение увеличить производство приведет к переизбытку товара и убыткам.

Обратный инжиниринг переворачивает этот подход, начиная с конца. Сначала определяется желаемый результат — скажем, рост продаж на 10%. Затем выделяются ключевые метрики, которые его характеризуют: средний чек, конверсия в покупку, объем повторных заказов. После этого выясняется, какие данные нужны для расчета этих метрик: записи транзакций, поведение клиентов, история покупок. Такой метод позволяет:

• Сфокусироваться на важных данных — вместо сбора всего подряд ресурсы направляются на ключевые источники.
• Упростить требования к качеству — не нужно доводить до идеала все данные, достаточно обеспечить точность и актуальность тех, что влияют на метрики.
• Повысить вовлеченность владельцев — зная, как их данные связаны с результатом, они охотнее поддерживают качество.
• Создать четкую систему управления: роли и процессы выстраиваются вокруг цели.

Например, цель — повышение эффективности процессов. Метрики — скорость выполнения операций и точность прогнозирования спроса. Данные — логи операций и исторические продажи. Обратный подход связывает данные с целью, минимизируя избыточные усилия и концентрируясь на том, что действительно важно для успеха.

Моделирование результата как мера качества данных

Качество данных в экономике данных — это не просто абстрактная характеристика, которую можно измерить процентами точности или полноты. Главный показатель качества данных — это результат принятых решений, который мы можем и должны моделировать. Результат — это не случайный итог вроде роста прибыли или оптимизации процессов, а доказательство того, что данные сделали возможным осмысленное и эффективное действие. Если решение, основанное на данных, привело к провалу — например, рекламная кампания не привлекла клиентов из-за ошибок в анализе спроса, — разве можно назвать эти данные качественными, даже если они технически безупречны?

Моделирование результата — это ключ к пониманию, какие данные нам нужны и какого уровня качества они должны достичь. Оно включает:

1. Ключевые решения: какие управленческие шаги зависят от данных? Например, корректировка цен для повышения маржи, управление запасами для сокращения затрат, оценка кредитных рисков для минимизации потерь.
2. Критические данные: какие данные влияют на эти решения? Для ценообразования — текущий спрос и конкурентные цены, для запасов — история продаж и прогнозы.
3. Требования к качеству: какие параметры важны? Актуальность данных о спросе, точность клиентских записей, полнота истории транзакций.
4. Оценка ошибок: как «грязные» данные могут повлиять на бизнес? Неточные данные о запасах приведут к дефициту или переизбытку, а ошибки в кредитных данных — к убыткам от дефолтов.

Data-контракт закрепляет эти требования, обеспечивая предсказуемость решений. Он фиксирует, какие данные должны быть собраны, как обработаны и для чего использованы, создавая основу для взаимодействия между владельцами, ИТ и аналитиками.

Пример: цель — рост продаж на 10%. Путь через модель DIKAR: действия (запуск рекламной кампании), знания (тренды покупательского поведения), информация (анализ клиентских данных), данные (записи транзакций и предпочтений). Качество данных становится инструментом, а не самоцелью — оно важно настолько, насколько поддерживает результат.

Три перспективы структурируют этот подход: владельцы задают базовые требования, обеспечивая реальность данных; ИТ гарантирует их готовность к использованию через согласованность и доступность; аналитики проверяют применимость, оценивая релевантность и интерпретируемость. CDO выступает координатором, помогая сторонам договориться о том, что считать качеством и сколько оно стоит. Ведь качество — это не бесплатно: повышение точности на 1% может стоить миллионы (например, внедрение потоковой аналитики), но, если это окупается ростом выручки, инвестиции оправданы. Принцип Эшби напоминает: управление качеством данных должно быть структурированным для контроля, избегая бюрократии или потери управления. Моделирование результата позволяет найти баланс — сосредоточиться на критически важных аспектах качества, экономя ресурсы там, где идеал не нужен.

В итоге качество данных измеряется не только метриками, а их вкладом в успех организации. Экономика данных требует от нас не просто собирать и хранить информацию, а превращать ее в решения, которые работают. Моделируя результат, мы задаем вопрос: «Какие данные приведут нас к цели?» Ответ на него — это и есть настоящий показатель качества.

Заключение

Качество данных — это не просто чистота записей в базе данных, а их способность вести к успеху. Данные выполняют роль топлива: чистое топливо разгоняет бизнес, грязное — тормозит. Три перспективы — владельцы, ИТ, аналитики — и CDO как координатор превращают хаос в систему. Обратный инжиниринг и data-контракт фокусируют усилия на результате, будь то рост продаж или эффективность. Экономика данных требует не просто собирать информацию, а делать ее полезной. Использование данных для конкуренции требует не только технологий, но и культуры работы с данными.

Как вы оцениваете свои данные — по таблицам или итогам? Ответ покажет, готовы ли вы к цифровому будущему. Давайте обсуждать, как данные могут работать лучше — для бизнеса, государства и для каждого из нас.

Автор — Станислав Карамушко, генеральный директор Центра информационного менеджмента

Переизбыток доступных данных способствовал сегодняшнему всплеску внедрения искусственного интеллекта и его генеративных возможностей в большей степени, чем какой-либо другой фактор. Сбор, очистка, систематизация и защита данных фактически превратились для искусственного интеллекта и машинного обучения в самостоятельный проект – процесс управления, в котором важную роль играют сами инструменты ИИ. Результатом всего этого может стать значительное улучшение управления данными, которое принесет пользу всему предприятию.

База данных остается основным хранилищем данных, но экосистема инструментов управления данными на основе искусственного интеллекта (включая продукты стартапов, которым может пока не хватать стойкости и полноценного понимания всех нюансов функционирования баз данных) уже получает повсеместное распространение. Со временем с предлагаемым программным обеспечением для баз данных и облачными сервисами, очевидно, будет интегрироваться все больше функций управления.

Применение ИИ для автоматизации управления данными способно приносить немедленную отдачу. Чем лучше предприятие управляет своими данными, тем лучше сотрудники, занимающиеся машинным обучением, могут использовать эти данные для создания приложений на базе искусственного интеллекта. В более широком смысле добавление искусственного интеллекта к управлению данными оказывает положительное влияние на их аналитику, соблюдение нормативных требований и повышение качества данных в любой отдельно взятой организации.

Рассмотрим подробнее, каким образом ИИ модернизирует процессы, связанные с управлением, и как инструменты, улучшенные с его помощью, способствуют успеху как приложений искусственного интеллекта и машинного обучения, так и процесса обработки данных в целом.

Каталогизация данных

Знаете ли вы, где находятся ваши данные? Для эффективного управления организациям необходима полная инвентаризация всех основных хранилищ данных и понимание того, что в них содержится. Задача идентификации корпоративных данных, доступа к ним и их классификации становится все более сложной в том числе и из-за бесконтрольного распространения облачных хранилищ данных, не говоря уже о наличии полуструктурированных журналов, используемых для выявления операционных тенденций и аномалий. Программное обеспечение для каталогизации данных позволяет составить подробную схему этих хранилищ.

Искусственный интеллект может помочь на всех этапах каталогизации данных организации, начиная с автоматического обнаружения хранилищ данных, имеющих отношение к предприятию. Спектр инструментов каталогизации варьируется в широких пределах. Некоторые используют ИИ в том числе и для определения политик контроля доступа и организации поиска на естественном языке. Каталогизация на основе искусственного интеллекта значительно сокращает объем ручного труда, связанного с классификацией информационных ресурсов, и выявляет происхождение данных, показывая, откуда они берутся и как менялись.

Управление метаданными

Эффективное управление метаданными, то есть информацией, описывающей данные компании, имеет основополагающее значение для успешного управления. Инструменты каталогизации на основе искусственного интеллекта позволяют идентифицировать метаданные для правильной классификации информационных ресурсов. Кроме того, управление метаданными имеет жизненно важное значение для надежной работы с данными. Широкий спектр существующих предложений – от программного обеспечения для интеграции данных до платформ наблюдения за ними – открывает новые возможности и для управления метаданными.

Инструменты управления метаданными, основанные на искусственном интеллекте, облегчают процесс ручной классификации данных и помогают устранять различия в описаниях метаданных. В прошлом предприятия оперировали относительно статичными метаданными, но сегодня инструменты ИИ непрерывно отслеживают и собирают динамическую информацию о хранении, использовании и перемещении потоков данных. Помимо других преимуществ, метаданные, подробно описывающие ресурсы данных, могут использоваться для выдачи на основе ИИ рекомендаций по оптимизации платформ хранения и даже для определения потенциальных путей интеграции данных.

Качество данных

Наибольшее влияние ИИ оказал на качество данных, которое характеризуется шестью основными аспектами: точностью, полнотой, согласованностью, уникальностью, своевременностью и достоверностью. Очевидно, что при отсутствии у данных этих свойств риск катастрофических последствий в результате операционной деятельности заметно возрастает. А специалистам, занимающимся наукой о данных, и аналитикам приходится прилагать титанические усилия к очистке данных, прежде чем их можно будет использовать.

Инструменты искусственного интеллекта и машинного обучения позволяют автоматически находить пропущенные значения, осуществлять нормализацию форматов данных, выявлять аномалии в них и выполнять многие другие функции. Конечно, решения (например, идет ли в случае одинаковых имен речь об одном и том же или о разных клиентах) людям по-прежнему приходится принимать самостоятельно, но общая экономия времени оказывается огромной. По мере того, как инструменты искусственного интеллекта находят все больше закономерностей в обширных объемах данных, выдаваемые ими рекомендации, обнаруживаемые корреляции и вносимые коррективы постоянно улучшаются. Соответствующие критерии используются при организации мониторинга качества данных в режиме реального времени.

Моделирование данных

Структурирование базы данных – или всей архитектуры данных – начинается со сбора и анализа требований к данным, а также с разработки логических и физических моделей, обеспечивающих соответствие этим требованиям. В ряде продуктов искусственный интеллект позволяет архитекторам данных и инженерам легко создавать визуальные представления моделей данных.

Сегодня на многих предприятиях моделирование данных направлено на обслуживание приложений искусственного интеллекта и машинного обучения. Некоторые инструменты обработки данных с использованием ИИ предлагают автоматизированное конструирование признаков (feature engineering), при котором ключевые характеристики извлекаются из наборов данных, предназначенных для подготовки к обучению ИИ. В сочетании с автоматическим машинным обучением это позволяет подбирать модели разных типов, определяя наиболее подходящие для конкретных приложений и прогнозной аналитики. Если данных для эффективного обучения модели оказывается слишком мало, инструменты моделирования на основе искусственного интеллекта могут использовать существующие хранилища и генерировать синтетические данные, которые очень похожи на реальные.

Политика данных и управление их жизненным циклом

Политику обработки своих данных организациям необходимо определять на основе федеральных, государственных, отраслевых и международных нормативных актов, а также внутренних бизнес-правил. На крупных предприятиях создаются комитеты по управлению данными, которые устанавливают соответствующие правила и разъясняют порядок их выполнения. Описывается все это в специальном документе, который дополняется по мере изменения правил и процедур. Поддержка естественного языка генеративным искусственным интеллектом позволяет автоматизировать создание черновых вариантов такой документации и значительно облегчает внесение в нее последующих изменений.

Анализируя шаблоны использования данных, нормативные требования и внутренние рабочие процессы, ИИ помогает организациям определять и внедрять политику хранения, а также автоматически идентифицировать данные, срок службы которых истек. Искусственный интеллект способен инициировать даже процедуры архивации и удаления. Наряду со снижением рисков и обеспечением выполнения нормативных требований автоматизация архивирования данных создает условия для освобождения места и сокращения затрат на хранение.

Готовность данных

Системы аварийного восстановления на базе искусственного интеллекта помогают организациям разрабатывать эффективные стратегии восстановления, прогнозируя возможные сценарии сбоев и принимая превентивные меры для минимизации простоев и исключения потери данных. Системы резервного копирования, основанные на искусственном интеллекте, гарантируют целостность резервных копий и автоматически инициируют процедуры восстановления потерянных или поврежденных данных в случае сбоя.

Системы управления хранением на базе ИИ реплицируют и распределяют данные по нескольким хранилищам, обеспечивая высокий уровень их готовности и низкую задержку. Средства прогнозной аналитики на основе искусственного интеллекта собирают данные с датчиков, из журналов оборудования и архивных записей систем технического обслуживания в целях минимизации потенциальных сбоев или простоев. Для предотвращения снижения уровня готовности данных профилактические меры важны, как ничто иное.

Человек по-прежнему необходим

С управлением данными искусственный интеллект по большей части справляется достаточно легко. Многие задачи (от обнаружения данных и их очистки до управления политиками), связанные с управлением и выполняемые сегодня во многом вручную, не представляют для ИИ особых сложностей и решаются им с более высокой точностью по сравнению с людьми. И это уже большая победа, особенно если учесть, что для операций машинного обучения нужны очищенные и упорядоченные хранилища данных, на основе которых можно создавать и обучать приложения искусственного интеллекта.

Следует, однако, помнить, что искусственный интеллект не обладает в полной мере разумом в том смысле, который мы вкладываем в это слово. Для устранения даже незначительных расхождений в данных может понадобиться анализ контекста и опыт, который способны приобрести только люди. Очевидно, никто не станет сегодня поручать машине создание корпоративной архитектуры данных. Да, искусственный интеллект уже сейчас способен исключить значительную часть ручного труда при управлении данными. Но он не сможет решать за вас все.

Стратегия по управлению данными была принята в «М.Видео-Эльдорадо» в 2021 году. Она распространяется не только на дата-офис, но и на весь цифровой блок, а также сотрудников операционных подразделений, ведь каждый бизнес — процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. О том, какая роль в управлении данными отводится их качеству, и об их влиянии на бизнес, рассказывает Данила Наумов, CDO «М.Видео-Эльдорадо» и номинант на премию Data Award.

— Почему обеспечение качества данных стало актуальным для «М.Видео-Эльдорадо», да и ретейла в целом?

К середине 2023 года мы подошли достаточно зрелыми с точки зрения управления данными. У нас внедрен организационный фреймворк Data Mesh, сформированы 10 доменов данных со своими инженерными командами. При этом данные воспринимаются не как статичная, а как динамическая сущность, то есть продукт со своими метриками и планами развития, назначены владельцы данных. Есть централизованная платформа данных, включающая в себя ETL, хранилища, BI, инструменты MLOps, а также самописный каталог данных M.Data.

Кроме того, в компании внедрен федеративный орган – Дата Комитет, состоящий из владельцев доменов данных и представителей корпоративных функций архитектуры и информационной безопасности. Он устанавливает корпоративные политики в области работы с данными и согласует планы по развитию платформы данных.

Качество данных стало для нас очевидной зоной роста. Во-первых, мы занимались «тушением пожаров» вместо того, чтобы действовать проактивно. Мы узнавали об инцидентах с данными от пользователей и только после их обращения в поддержку. Во-вторых, хотя у нас уже были сформированы проверки качества для наиболее чувствительных данных, они являлись уникальными разработками со своей спецификой. Например, продукт по управлению ассортиментом магазинов крайне отзывчив к качеству данных – как загружаемых, так и расчетных. Стоимость потерь для компании в случае несвоевременной загрузки данных в этом продукте оценивалась в 60 млн руб. в день. Внедрение каждой новой проверки качества данных становилось долгой и ресурсоемкой задачей, не поддающейся масштабированию и переиспользованию. По мере роста бизнеса появлялось все больше ключевых data-driven процессов. Так возникла необходимость реализовывать такие проверки быстро и дешево.

— Какие из проблем были наиболее чувствительными?

Согласно внутренним опросам, отсутствие контроля за качеством данных входило в тройку «больных вопросов» по управлению данными, а повышение качества данных (валидация, достоверность, консистентность) – в тройку ожиданий. Пользователи, даже найдя данные в M.Data, не могли понять, достаточного ли качества эти данные для их задач и были вынуждены обращаться за поддержкой. И, наконец, из-за отсутствия процессов и политик управления качеством данных у владельцев данных просто не было возможности ставить долгосрочные и среднесрочные цели по развитию их активов.

Независимые оценки по методологии CMMI Data Management Maturity подтвердили необходимость разработки политики управления качеством и достоверностью данных на основе критических элементов данных, а также рекомендовали расширить платформу данных инструментами мониторинга и контроля их качества.

— На чем вы фокусировались при повышении качества данных?

Чтобы сформировать стратегическое видение по развитию качества данных, нам было важно определиться не только с тем, что мы делаем, но еще и с тем, что мы точно не делаем. Изучив теорию, мы выделили четыре блока управления качеством данных (Data Quality, DQ).

Первый из них – мониторинг DQ в соответствии с заведенными правилами и проверками. Мониторинг не меняет сами данные, а считает показатели DQ для конкретного актива в системе-источнике или хранилище данных. Второй блок – профилирование. Это статистический контроль – например, количество значений, частотная характеристика значений. Профилирование может быть как инженерное (количество заполненных полей, пустые поля и др.), так и бизнесовое. Третий блок – управление инцидентами. По мере запросов от пользователей или возникновения в результате мониторингов инциденты необходимо фиксировать и обрабатывать. И, наконец, клинзинг – процесс исправления ошибок не только в отчете или хранилище, но еще и в системе-источнике.

Рассылка в Telegram по инциденту на свежесть данных

— Что из этого оказалось важнее всего?

Проанализировав боли и ожидания, мы решили, что важнее всего сфокусироваться именно на мониторинге. Например, у команды логистики 95% проблем касались несвоевременной или неполной загрузки данных в хранилище.

Проверку качества данных над транзакционными системами-источниками мы решили оставить вне рамок нашего проекта, так как DQ-проверки – весьма ресурсоемкая операция, зачастую требующая полного сканирования, что сильно снизило бы производительность транзакционных систем. DQ-проверки в транзакционных системах релевантны только при распределенных транзакциях, и даже в этом случае сканирование будет осуществляться силами команд этих транзакционных систем. При этом, если мы на стороне аналитических систем находим ошибки, мы должны передавать информацию о них в команды исходных систем.

— Если обобщить, то какие цели перед вами стояли?

Мы хотели выстроить процесс управления DQ и обучить ему как инженерные команды дата-офиса и представителей других цифровых команд, так и операционные функции. Кроме того, требовалось внедрить дешевый, быстрый и автоматизированный инструмент, а также упростить предоставление информации о результатах проверок всем категориям заинтересованных пользователей. И, наконец, выстроить процесс и механизм передачи информации об ошибке в данных на сторону систем-источников.

— Как изменился процесс по управлению качеством данных?

Раньше если пользователь обнаруживал проблему с данными, он в самом худшем случае самостоятельно исправлял данные в своем дата-активе – например, внутри выгрузки в Excel. Таким образом, в компании появлялась новая, более качественная версия данных, а остальные пользователи продолжали работать с некачественными данными.

Раньше наш стандартный процесс выглядел следующим образом. Пользователь заводил инцидент в службу поддержки, которая вносил минорное изменение в дата-актив, если оно не требовало существенных доработок. В ином случае поддержка обращалась в соответствующую инженерную команду (конвейер данных), которая в свою очередь узнавала у пользователя требуемые изменения. Если пользователь не являлся владельцем дата-актива, изменения согласовывались с владельцем данных. Далее команда разработки модифицировала дата-актив, а приемочное тестирование проводилось с владельцем данных. В конце концов владелец подтверждал качество данных и передавал обновление на поддержку. Из-за этой непростой схемы нас в шутку называли дата-сатанистами.

В текущей версии количество субъектов и сущностей остается тем же, но связующим дополнительным звеном становится инструмент Data Quality. Пользователь заходит в дашборд DQ, дата-каталог или получает уведомление от системы мониторинга и видит текущий уровень качества данных.

Рассылка в почту на статистическое отклонение

— Есть ли у вас требования для инструмента Data Quality?

Конечно, мы сформулировали их на основе анализа потребностей. Главных требований три.

Система должна преимущественно запускать проверки над теми же хранилищами платформы данных, в которых и хранятся данные. Запуск внутри инструмента DQ должен осуществляться только для кастомных проверок, требующих использования данных одновременно из нескольких систем.

Для масштабирования инструмента результаты проверок DQ должны представляться в нашей внутренней BI-системе, привычной для всех. Иначе мы бы сосредоточились не на внедрении процесса, а на внедрении ИТ-системы.

Система должна бесшовно интегрироваться с нашим самописным каталогом данных M.Data для отображения метрики DQ и истории проверок непосредственно в карточке дата-актива.

— Можно ли назвать то, что вы сделали, инновационным?

В общем-то, да. Мы приняли решение сделать собственный инструмент качества данных — M.DQ. Силами шести человек за три месяца инструмент был запущен в эксплуатацию. В следующие два месяца он был масштабирован на все инженерные команды дата-офиса в каждом домене данных.

Интеграция метрик Data Quality в карточку дата актива в каталоге данных

— Измеряли ли эффективность проекта? Как оценить пользу для бизнеса от решения?

Эффективность можно показать на примере конкретных кейсов и бизнес-процессов, в которые было встроено это решение.

Например, команда логистики при планировании перемещений и поставок товаров использовала весогабаритные характеристики товара (ВГХ) из ERP. В какой-то момент коллеги заметили несоответствие данных фактическим значениям. В частности, не совпадали габариты товаров. DQ-команда выявила, что большинство аномальных значений выглядят как 1х1х1. Вместе с коллегами из команды мастер-данных выяснили, что заведение данных происходит сразу в нескольких системах: ВГХ для клиентов заводится в одной системе, для внутренних пользователей – в другой. Поля были обязательными для заполнения, но не было никакого контроля над процессом, поэтому при заведении нередко указывали пустые значения. На момент внедрения проверки в системе значилось более 5 тыс. наименований с некорректными габаритами. Логисты брали средние значения ВГХ по товарной группе, и неправильные расчеты приводили к ошибкам маршрутизации, необходимости ручных корректировок при планировании рейсов, а это означает задержки и отмены клиентских заказов.

Другой кейс – дубли чеков. Только за четвертый квартал 2023 года вторая линия поддержки дата-офиса обработала более 300 таких инцидентов качества данных. Это значит, что более 300 инцидентов не дошло до пользователей. Мы считаем, что демонстрацией зрелости в области управления качеством данных является и то, что мы поставили метрики качества в персональные KPI владельцам данных. Мне пришлось выступить амбассадором нововведения: я взял на себя самые востребованные дата-активы: чеки, заказы, веб-трафик, розничный трафик и основные справочники. За первый квартал 2024 года мы замерили текущие показатели DQ по этим активам и поставили измеримые цели на второй квартал. Для владельцев других доменов данных во втором квартале 2024 года мы сформируем показатели DQ по критическим элементам данных, и поставим цели на следующие кварталы.

Еще один важный кейс для любого ретейлера – расчет премий для сотрудников розницы. Иногда не вся атрибутика чека бывает верно загружена: не везде определяется продавец, кассир и категория товара. Была осуществлена проверка, и теперь наши коллеги заранее «отлавливают» отклонения и обрабатывают 150-200 обращений в месяц в рабочем режиме. При закрытии периода премия рассчитывается правильно.

И последний пример. Как известно, мы передаем фискальные данные в ФНС, а они в свою очередь сравнивают их с ОФД. Если есть хоть какое-то отклонение, из ФНС поступает запрос в бухгалтерию на проверку и корректировку. Когда возникали случаи несовпадения данных по причине сбоев в передаче данных с локальных касс в ОФД, это фиксировалось бухгалтерией через личный кабинет ОФД и требовало правок на стороне директора магазина. Конечно же, инциденты возникали в последний момент перед закрытием отчетного периода, что вызывало проблемы. Сейчас эти отклонения выявляются заблаговременно.

— Каковы основные итоги проекта?

Во-первых, мы успешно выстроили процесс управления качеством данных. Теперь при создании и изменении дата-активов силами инженерных команд конвейеров данных заказчику предлагается создать проверки DQ. Во-вторых, мы измеряем уровень качества данных. В каждом домене данных выделены критические элементы данных, по которым в динамике измеряется и отслеживается уровень качества данных, который доступен всем желающим. В-третьих, мы сократили срок реализации проверок DQ с двух недель до четырех часов. Теперь стандартные проверки может создавать даже представитель операционной функции, а разработчики не тратят время на сопутствующие процессы (оповещение, хранение и т.п.). В-четвертых, уже решили более 100 конкретных бизнес-кейсов. Наконец, мы можем масштабировать количество критичных элементов данных, не раздувая штат разработки и поддержки.

— В чем заключаются основные факторы успеха?

Очень помогла поддержка со стороны дата-архитекторов, и корпоративных архитекторов. Важную роль сыграло выделение отдельной команды для разработки инструмента. Кроме того, правильным было подключение центральной второй линии поддержки дата-офиса. Возможность передачи DQ-проверок, созданных с помощью общего инструмента, являлась решающим фактором, чтобы команды стали приобщаться к инструменту, а не плодить собственные наработки. И для любого подобного проекта важна удобная система оповещения в разных каналах.

— Каковы направления развития проекта?

Мы хотим, чтобы у всех владельцев доменов данных появилось персональное целеполагание, основанное на метриках качества данных по дата-активам у них во владении. Для этого мы замеряем текущий уровень и согласовываем с владельцами целевые уровни.

Также через инструмент M.DQ мы хотим фиксировать контракты – то есть требования пользователей к данным, находящихся во владении у других, и проверять исполнение этих требований через проверки качества данных. И, естественно, планируем увеличивать количество дата-активов с проверками качества данных, наращивать базу стандартных проверок для увеличения скорости внедрения.

«СберФакторинг» собственными силами построил систему управления данными SBF DM. За счет этого компании удалось обеспечить «Единое окно» по работе с данными, упорядочив процессы и повысив их качество. О реализации проекта рассказывает Михаил Пекер, директор по управлению данными «СберФакторинг» и номинант на премию Data Award.

- Что привело к реализации проекта по управлению данными в «СберФакторинг»? В чем заключались проблемы, какова была головная боль бизнеса?

У нас долгое время не было функции по управлению данными. Не было четкого описания, категоризации и разметки данных, понимания, кто ими владеет. В результате появлялись расхождения в терминах, их определениях, в бизнес-сущностях, их составе и связях, возникали ошибки в отчетах. Основные знания и понимание работы систем на уровне базы данных были лишь у определенных экспертов, и они не были централизованы. Следствием этого становились дополнительные трудозатраты сотрудников на поиск необходимой информации, проработку новых задач, а также анализ и устранение проблем. Повышались риски потери экспертизы, а также риски кибербезопасности. А это может быть критично для финансовой компании.

Кроме того, у руководства компании было желание получать дополнительную пользу от уже существующих данных. Эти предпосылки послужили катализатором для построения и развития функции по управлению данными в компании.

В начале 2023 года нам удалось сделать важный шаг для построения в компании функции по управлению данными – создать и внедрить собственную автоматизированную систему Sberfactoring data management (SBF DM). Конечно, это был лишь первый шаг, который требовал развития и реализации целого комплекса организационных и технических мероприятий. На это и была ориентирована наша команда в 2023 году.

- Какой был выбран подход для решения этих проблем?

Определив методологию, на базе которой мы выстраиваем функцию по управлению данными в компании и стратегию развития, мы находились в контакте с заинтересованными сторонами – представителями ИТ- и бизнес-подразделений. Нам было важно учесть специфику бизнеса, существующие процессы и пожелания наших коллег. Поэтому в начале каждого нового этапа развития обсуждали, что планируется сделать, как будет работать новый функционал или процесс, от кого какое участие потребуется, ну и конечно, как это поможет им в решении рабочих задач и какую пользу принесет компании.

- Какие задачи стояли перед проектом?

В рамках проекта предстояло создать набор инструментов и процессов, который был бы удобен сотрудникам компании и позволял решить несколько ключевых задач. Было важно определить категории и разметить данные, разграничить доступ к данным, создать и автоматизировать процесс доступа к данным. Требовалось создать корпоративную модель данных – концептуальную, логическую и физическую модели. Наконец, стремились сократить время поиска и согласования использования необходимых данных, а также снизить риски качества данных, сократить количество инцидентов качества данных.

- Какие требования предъявлялись к будущему решению?

Нам было необходимо не просто охватывать основные области знаний и процессы управления данными, но реально сделать их доступными, понятными и удобными для всех сотрудников компании. Для этого требовалось учитывать специфику деятельности "СберФакторинга", бизнес-процессы компании, а также рекомендации со стороны «Сбера». И конечно, решение должно было укладываться в рамки выделенного бюджета.

- На каких технологиях реализован проект?

Изначально для реализации проекта мы рассматривали несколько очевидных вариантов: покупку существующего на рынке продукта, установку и развитие открытого ПО и разработку решения внутренними ресурсами компании. Проанализировав плюсы и минусы, существующие риски и ограничения по каждому из этих вариантов, было принято решение строить SBF DM внутренними ресурсами компании. Кстати, уже в процессе разработки собственного решения в 2023 году мы дополнительно рассмотрели еще несколько вариантов вендорских решений и открытого ПО, но все равно приходили к выводу, что выбрали верный для себя курс.

Основа системы написана на Python. Это извлечение данных, преобразование и загрузка, а также механизмы взаимодействия с другими автоматизированными системами и базами данных. Для оркестрации, визуализации и поиска необходимой информации мы адаптировали некоторые open source решения – в частности, Airflow и Superset. В конце 2023 года мы добавили еще один компонент – DocHub. Используя его и язык JSONata, нам удалось добиться той наглядности и интерактивности логической модели данных, которую мы с коллегами хотели видеть.

- Каких ресурсов потребовала реализация проекта?

Масштаб проекта оценивается около 9 тыс. человеко-часов. В реализацию были вовлечены представители различных подразделений. Основные ресурсы были выделены со стороны команды ИТ, офиса CDO. Но и представители бизнес-подразделений, а также методологи активно принимали участие на различных этапах. Это позволило добиться наибольшей эффективности при реализации проекта.

- Каких результатов удалось достичь? Чем можно похвастаться?

В течение 2023 года мы активно развивали наш продукт. Проработали и внедрили модели данных, которые помогают избежать расхождений в трактовке и определении бизнес-сущностей. Это, в совокупности с наглядной визуализацией, делает адаптацию новых сотрудников быстрее и проще. Помимо этого, можно выделить несколько количественных показателей. Мы в среднем на 20-25% сократили время поиска данных, которое обычно требуется коллегам при развитии продуктов и процессов. Удалось на 33% снизить количество инцидентов качества данных. Финансовый эффект от автоматизированной разметки и применения ML-модели поиска чувствительных данных составил более 20 млн руб. Кроме того, мы смягчили риски негативного влияния новых релизов на смежные продукты и процессы компании, а также разграничили доступ к данным и автоматизировали процессы согласования и предоставления доступа.

- Что представляет собой решение, какие компоненты оно включает?

SBF DM является комплексным решением, которое позволяет автоматизировать ряд процессов по управлению данными согласно DAMA-DMBoK. Решение включает в себя пять ключевых компонентов.

Во-первых, это бизнес-глоссарий, который позволяет получить информацию об основных для компании терминах, их определениях, статусе, датам ввода в эксплуатацию и изменению, а также владельце. Дополнительно в глоссарий включены наиболее распространенные аббревиатуры, встречающиеся в компании.

Второй компонент – логическая модель данных. Она отображает информацию о бизнес-сущностях компании: основные объекты бизнес-процессов, их взаимосвязи и атрибутный состав, принадлежность к тому или иному бизнес-продукту и автоматизированной системе. Кроме того, она содержит информацию о связи логической модели данных с физической на уровне бизнес-сущность – таблица в базе данных, атрибут – поле в таблице базы данных. Функционал данного модуля системы доступен как в табличном, так и в схематичном виде.

Третья составляющая – реестр (каталог) данных, позволяющий найти информацию о таблицах в базах данных компании и узнать, к каким системам и продуктам они относятся. Также в реестре данных содержится описание этих таблиц и признак их критичности для компании или наличия персональных данных. Реестр позволяет осуществить и более глубокий поиск необходимой информации – на уровне полей таблиц, как по названию полей, так и по описанию.

Еще один важный элемент – реестр отчетов. Он отображает информацию об отчетах компании, их статусах и владельцах, позволяет посмотреть общую статистику в различных разрезах. Также с его помощью можно получить детальную информацию по использованию любого из отчетов по подразделениям и пользователям, работающим с этим отчетом и статистике количества запусков за интересующий период.

Наконец, модель поиска чувствительных данных. Она позволяет получить актуальную информацию о наличии персональных данных (ПДн) физических лиц в таблицах баз данных. Модель анализирует записи в таблицах баз данных и сообщает в случае нахождения, возвращая названия таблиц и сообщая о признаке, по которому она разметила таблицу как содержащую ПДн. Результат работы модели и статистика в различных разрезах выводятся на разработанных для этого дашбордах.

- Как появление SBF DM отразилось на процессах работы с данными?

Появление данного инструмента не только сделало удобнее работу по ряду процессов, таких как управление архитектурой, безопасностью, качеством данных, метаданными, НСИ, но и обеспечило необходимою доступность и централизацию информации в рамках развития функции по управлению данными в «СберФакторинг».

- Как вы намерены бороться за качество данных? Как будете его измерять?

Качество данных – это одно из важнейших направлений, которому уделяется большое внимание в компании. Для его развития мы проводим как технические, так и организационные мероприятия. В рамках технических мероприятий производится разработка самих проверок качества данных, постановка их на мониторинг, подключения каналов информирования ответственных специалистов об отклонениях, и исправления выявленных отклонений. С организационной точки зрения мы формируем требования к качеству данных, договариваемся с владельцами данных о сроках реагирования и устранения отклонений.

В 2023 году мы начали измерять несколько показателей. К примеру, нам удалось сократить количество инцидентов качества данных на 33%, а доступность или «свежесть» данных – от момента их внесения в систему-источник до отображения в отчете – смогли повысить примерно в 2,5 раза. Кроме того, мы добавили автоматические напоминания разработчикам о необходимости описания таблиц там, где оно отсутствует, чтобы четко понимать точки для улучшения. Также мы будем измерять охват и глубину реализации проверок качества данных как на стороне корпоративного хранилища данных, так и на стороне систем-источников данных.

- Каковы планы по развитию платформы управления данными?

Безусловно, мы планируем развивать нашу систему, так как сейчас она является единым окном, через которое сотрудники компании могут получить необходимую информацию о данных, владельцах, терминах, определениях. Мы будем делать ее еще более удобной для пользователей и расширять ее функционал. Среди ближайших шагов, которые мы планируем, – добавить связь физической и логической моделей данных на уровне сервисов взаимодействия автоматизированных систем с бизнес-сущностями и процессами, а также реализовать модуль качества данных, чтобы перевести существующие процессы по данному направлению в нашу систему.

Помимо внутренних пользователей, наш опыт и инструменты оказались интересны и коллегам из других компаний. Учитывая этот интерес, наша команда совместно с командой Центра технологического консалтинга «Сбера» организовала демонстрационный стенд, на котором развернули SBF DM и наполнили синтетическими данными. Доступ к демостенду предоставляется по запросу. Таким образом, коллеги могут не только посмотреть демо в рамках видеоконференции или на очной встрече, но и самостоятельно познакомиться поближе с функционалом и возможностями нашей системы в любое удобное для себя время.

Сеть «Магнит» создала платформу управления данными. Среди целей проекта – оптимизация работы дата-сервисов и повышение прозрачности информационных активов, чтобы обеспечить доверие пользователей к предоставляемой аналитике. О масштабах проекта, его реализации и роли для развития компании рассказывают Павел Шорохов, директор департамента по работе с данными «Магнит», и Олег Молчанов, руководитель направления по метаданным и качеству данных, — номинанты премии Data Award.

- Что привело компанию к реализации проекта платформы управления данными?

Павел Шорохов: В компании около 10 тыс. пользователей данных. Они используют многоуровневую платформу, содержащую более 1 Пбайт данных (5 Пбайт с учетом кластеров Data Science). Более 2 тыс. пользователей обращаются напрямую к центральному элементу платформы – корпоративному хранилищу данных, – которое развивается уже 12 лет и содержит 420 Тбайт данных.

За это время система стала сверхсложной: в нее интегрировано чуть больше 200 систем-источников данных, а пользователи обращаются к 5 тыс. витрин данных. Такое количество разработанного функционала требует продвинутых возможностей для поиска нужной информации. А так как бизнес самостоятельно работает в пользовательских областях (так называемых «песочницах»), которых сейчас около 80, то потребовалось также повысить переиспользуемость объектов данных (информационных активов).

В середине 2022 года мы приняли решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Начав в ноябре, мы за полгода разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как бизнес-глоссарий, каталог данных, автоматизированную систему контроля качества данных и виртуального дата-помощника.

- Какие задачи требовалось решить?

П.Ш.: Самое главное – требовалось оптимизировать работу дата-сервисов. Во-первых, ускорить поиск данных. Регулярно проводя опросы наших сотрудников, мы видели частые ситуации, когда пользователь не мог самостоятельно найти необходимые данные, которые есть в компании. Ему необходимо было пользоваться разрозненными сервисами, которые предоставляли отдельные подразделения. В итоге слишком много времени уходило на такие рутинные задачи, как отправка запроса на поиск данных, ожидание начала работы над таким запросом, собственно работа над запросом и другие дополнительные коммуникации. Большинство из этих задач можно и нужно было автоматизировать.

Во-вторых, было важно сократить время на разбор происхождения данных и анализ влияния изменений в данных, ускорить внедрение изменений. Дело в том, что системные аналитики, чей фокус в основном на развитии хранилища, в зависимости от задачи могли тратить на «ручной» разбор зависимостей от 2 до 16 часов, что имело негативное влияние на поставку изменений. Учитывая, что вся нужная информация уже существовала где-то в метаданных, мы понимали, что наша задача только организовать их удобное хранение и анализ.

Требовалось и уменьшить время запроса на доступ к данным. В среднем у наших сотрудников уходило около получаса на один такой запрос, что с учетом количества наших пользователей мы считали недопустимым. Необходимо было разработать более эффективный процесс и автоматизировать его.

Кроме того, было важно снизить расходы на поддержку существующих аналитических данных за счет выстраивания правильного пользовательского пути: сначала – self-service для поиска и понимания данных, а уже в случае возникновения вопросов — обращение к эксперту по данным в бизнесе или ответственным за реализацию. Также планировали снизить расходы через создание условий для переиспользования существующих наработок и сдерживания расширения «теневого ИТ».

Наконец, требовалось повысить качество данных за счет внедрения ответственности за данные и запуска операционной модели управления качеством данных. Но как повысить качество, если мы его даже не измеряли на тот момент? Поэтому сначала необходимо было обеспечить прозрачность информационных активов и знаний о них.

Таким образом, мы в целом планировали повысить доверие к существующей аналитике и оптимизировать способы ее получения, что является фундаментом развития data-driven культуры в компании.

- Какой подход был выбран?

Олег Молчанов: В процессе реализации инициативы применялись смешанные подходы как проектного управления, так и внедрения самого продукта со всеми релизными историями, приоритизацией бэклога и т.п. Но здесь хотелось бы выделить две ключевые организационные особенности, которые, на наш взгляд, имели эффект.

Внедрение методологии управления данными, включающее проектирование операционной модели (какие роли и за что отвечают) и регламентацию низкоуровневых процессов управления метаданными и качеством данных (как эти роли взаимодействуют), проходило нога в ногу с внедрением самих инструментов. По опыту внедрения таких решений ранее мы были уверены, что без методологической базы и четкого понимания пользователей, как и зачем им работать в предложенных инструментах, система не будет востребована пользователями, а значит в полном объеме заявленных эффектов не получить.

При внедрении крупных изменений очень важно создать коалицию: найти группу людей среди внутренних заказчиков, которые будут вести за собой остальных. Мы так и сделали, заручившись поддержкой одного из ключевых бизнес-блоков. Совместно с ним проходило обсуждение разрабатываемых процессов и обкатка всех первых наработок во внедряемых инструментах: процесс ведения бизнес-глоссария, выбор систем для каталогизации метаданных, валидация полноты и достоверности результатов сканирования метаданных, реализация первых проверок качества данных. Это помогло нам сделать коллег неформальным заказчиком проекта, заручиться их поддержкой и «живым примером» для дальнейшего тиражирования. Главный вывод – не внедряйте инструменты и процессы Data Governance & Data Quality в отрыве от реальности.

- Какие инструменты использовались?

О.М.: Мы использовали решения, продвигаемые DIS Group: бизнес-глоссарий, каталог данных, система управления качеством данных. Виртуальный помощник реализован с помощью собственной разработки. И в соответствии с нашей стратегией cloud first мы использовали инфраструктуру «Яндекс.Облако».

Созданная в результате платформа управления данными охватывает все промышленные данные компании, использующиеся в корпоративном хранилище данных и корпоративной отчетности.

- Что представляет собой созданное решение?

П.Ш.: Созданное решение — это единый портал пользователя данных, который можно условно разделить на несколько частей.

Во-первых, это портал для поиска данных и запроса доступов к ним. Одним словом – все, что нужно пользователю, когда он знает, зачем пришел. В этом случае ему нужно только помочь понять, где это находится, и получить доступ.

Далее, в портал встроен бизнес-глоссарий – своего рода «Википедия» про данные, где можно лучше понять значение найденных данных: изучить описание информационных активов, их место в корпоративной архитектуре данных, узнать, кто владеет данными и тому подобное. Теперь, когда пользователь обладает доступом к нужным ему данным, он хочет понять, насколько они соответствуют его ожиданиям – для этого существует модуль качества данных, который содержит дашборды и отчеты по качеству информационных активов.

Наконец, так как нашим порталом пользуются тысячи пользователей с самым разным уровнем подготовки, мы встроили в него обучающие материалы и дополнительно проводим семинары и публикуем вспомогательные материалы по работе с внедренными инструментами.

- Что такое виртуальный дата-помощник, какова его роль?

О.М.: Это чат-бот, «прикрученный» ко всем страницам платформы управления данными. Мы его с некоторых пор «забрендировали» и стали называть Data Assistant. В прошлом году о первых версиях и «внутрянке» продукта мы рассказывали в статье: Как устроен виртуальный помощник для дата-сервисов в «Магните».

Сейчас через Ассистента можно решить полный перечень вопросов, связанных в данными. Он поможет сориентироваться в том, что вообще доступно: какие есть порталы и инструменты работы с данными (например, наш собственный BI-инструмент – «Магрепорт»), найти основные статьи из базы знаний, найти своего дата-партнера, вступить в дата-комьюнити и многое другое. С его помощью можно сформировать из чата запросы на информацию, сообщить об инциденте, запросить доступ к данным или инициировать изменения ролевой модели. Еще одна функция – найти данные и связанные информационные активы по ключевым словам. Бот, в основе которого лежит простенькая ML-модель, сам подберет соответствующие вашему запросу витрины данных, аналитические отчеты, показатели и аналитики из глоссария, бизнес-процессы и информационные системы.

Важно, что этот помощник всегда под рукой: в платформе и в корпоративном мессенджере. В частности, он является связующим звеном для всех описанных ранее компонентов платформы Magnit Data. Через него же можно сообщить о проблемах с платформой, задать вопрос или предложить доработку.

- Что в ходе проекта было самым сложным? Какие уроки для себя вы извлекли?

O.М.: Самое сложное, как и всегда, – это люди. Точнее, изменение и дополнение существующих устоявшихся бизнес-процессов, по которым они привыкли работать. На первых этапах очень важно было суметь показать пользу от внедренных изменений и доказать, что потраченные усилия позволят сократить трудозатраты на рутинные задачи по работе с данными.

Главный урок – в таком проекте следует как можно раньше начинать обсуждать методологическую составляющую и договариваться об изменениях и зонах ответственности. Важно как можно больше рассказывать сотрудникам на всех уровнях про то, как меняются процессы, и почему это важно. Доносить, какую проблему решаем, и показывать, как повлияют изменения на производственный процесс. Конечно, все это нужно делать с использованием детально продуманных и визуально понятных материалов, а не только через объемный бизнес-процесс, описанный по стандартам компании.

- Что удалось лучше всего, а над чем еще предстоит поработать?

О.М.: Я считаю, что у нас хорошо получилось позиционировать новую платформу как экосистему по управлению данными для каждого, кто работает с данными и аналитикой. Для этого, помимо самого внедрения инструментов и связанных процессов, был исполнен огромный коммуникационный план: демонстрации в разных форматах для разной целевой аудитории, регулярные письма в корпоративной почте, мессенджере и других внутренних площадках о новом контенте, новой функциональности системы или новых бизнес-процессах.

Отдельный блок работ был посвящен омниканальности, где ссылки на нашу платформу появлялись во всех логичных для этого местах, чтобы создать продолжение пользовательского пути и дать определенную рекламу ресурса. Это ярлыки на рабочих столах у целевой аудитории, наличие ресурса на популярных сайтах в корпоративном браузере, автоподписи сотрудников нашего департамента, ссылки из корпоративной системы техподдержки, ссылки из архитектурного репозитория, когда речь идет о бизнес-сущностях и многое другое. Нам удалось научить смежные подразделения говорить словосочетание Magnit Data чаще, чем мы его произносим внутри команды.

Если говорить о том, чем еще предстоит заняться, то, безусловно, мы продолжим наполнять контентом бизнес-глоссарий и контролировать полноту и качество этого контента. Говоря простым языком, будем делать описание показателей, аналитик, сущностей по всей группе компаний и всем предметным областям. Это очень объемный труд, в который мы вовлекаем бизнес. Этот фронт работ мы планируем добить в 2024 году.

- Какие результаты достигнуты и ожидаются?

П.Ш.: План проекта на 2023 год был выполнен полностью. Все системы, а именно четыре компонента платформы – бизнес-глоссарий, каталог данных, автоматизированная система контроля качества данных и виртуальный дата-помощник – с полной функциональностью были поставлены бизнесу даже быстрее запланированного. Я считаю, что это получилось сделать во многом благодаря хорошо проработанному коммуникационному плану и вовлечению бизнеса, за что коллегам огромное спасибо. Для нас важно, что внутренняя команда «Магнита» приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур.

Инструменты уже востребованы: мы получили ежемесячную базу пользователей новых инструментов в размере 1 тыс. сотрудников, которые ежемесячно создают более 5 тыс. запросов на поиск данных. Мы ожидаем, что общая база наших пользователей составит примерно 3 тыс. сотрудников, и мы будем стремиться к тому, что со временем 80% из них будут посещать портал минимум раз в месяц.

Если говорить о контенте, то мы отсканировали и каталогизировали справочники MDM, витрины основного хранилища данных и двух дополнительных хранилищ. К каталогу данных для автоматического забора метаданных по расписанию подключено 12 систем. По ним теперь можно анализировать происхождение данных и проводить анализ зависимостей. Дополнительно пользователи получили более 7 тыс. описанных информационных активов.

На начало февраля 2024 года в системе автоматизировано более 110 проверок качества данных, которые вовлекли в процессы управления данными более 70 сотрудников на стороне бизнеса – владельцев данных, экспертов по данным, поставщиков данных. Инструмент вместе с внедренной операционной моделью и опубликованными бизнес-процессами систематизировал работу с данными в компании.

Система продолжает развиваться, растет количество пользователей и сценариев использования, подключаются новые системы-источники метаданных.

- Какое влияние это оказало на ежедневную работу сотрудников?

П.Ш.: Приведу несколько примеров изменений, произошедших после публикации портала.

Например, в 10 раз снизилось время, которое тратит сотрудник на запрос доступа к данным. Сейчас пользователь тратит менее минуты за счет выстроенного пользовательского пути в виртуальном помощнике и прозрачности ролевой модели в связке с описанными данными.

На 15% снизилось количество запросов на информацию, поступающих к централизованной команде развития корпоративного хранилища. Это достигнуто за счет доступного описания данных и сценариев самообслуживания в Magnit Data. Соответственно, мы оптимизировали трудозатраты на анализ и консультации дорогостоящих специалистов – системных аналитиков.

В среднем на 15% выросло количество активных пользователей корпоративного хранилища и нашей BI-системы «Магрепорт» за счет популяризации использования данных, снижения порога вхождения в инструмент и увеличения доверия к данным через визуализацию их «здоровья». Это косвенно говорит о росте data-driven культуры в компании.

Наконец, вдвое снижено время поиска данных за счет создания центрального интерфейса из нескольких компонентов: бизнес-глоссария, площадки данных и каталога данных. Этот расчет сделан на основании точечных замеров кейсов и опроса пользователей.

- А если говорить про работу дата-команды?

О.М.: Время реагирования на снижение качества данных уменьшено до одного часа, это очень серьезный результат. Ранее выявление проблем происходило по факту работы пользователей с данными, затем о проблеме сообщалось через внутренние системы к централизованной команде, а далее на поступившие инциденты реагировали в течение четырех рабочих часов на первой линии, плюс время на работы других участников процесса. Теперь же об отклонениях известно сразу всем участникам процесса одновременно: аналитикам КХД, экспертам по данным, поставщикам данных. Еще до начала рабочего дня они получают оповещения за счет автоматизированной системы контроля качества данных. Выстроены и регламентированы процессы реагирования на инциденты.

На 15% снижены трудозатраты аналитиков, занимающихся развитием и сопровождением КХД, на проведения анализа происхождения данных и анализа зависимостей при проектировании изменений в объектах данных.

- Пытались ли оценить эти эффекты в деньгах?

П.Ш.: Да, и если эффект, связанный с сокращением трудозатрат, легко считается (у нас есть стоимость человеко-часа и понимание того, насколько мы оптимизировали работу более 1 тыс. сотрудников), то интересней влияние на скорость и верность принятия решений. Менеджер теперь получает свой управленческий отчет раньше, а благодаря повышению качества данных повышается и качество управленческих решений, основанных на данных. Этот эффект посчитать сложнее, но очевидно, что в масштабах организации с более чем 360 тыс. сотрудников важность доверия к аналитическим данным сложно переоценить.

- Какую роль играет этот проект в развитии компании?

П.Ш.: Реализованный проект является фундаментом для другой стратегической ИТ-инициативы компании по импортозамещению технологий, на которых построена корпоративная платформа данных. При миграции на новую платформу важно понимать зависимости в исторически сложившемся хранилище, требования бизнеса к качеству данных, используемость данных. Создание новой платформы должно сопровождаться инструментами, обеспечивающими прозрачность новых информационных активов, и контроль качества данных на всех этапах жизненного цикла данных.

Также платформа управления данными Magnit Data является движущей силой внедрения операционной модели и процессов управления качеством данных компании.

- Каковы планы по развитию проекта?

О.М.: Фокус в первом квартале 2024 года – на стабилизации работы решения, отработке критичных для наших пользователей багов, автоматизации мониторинга работоспособности всех компонентов системы, выстраивании внутренних процессов реагирования на них. После «взрывного» внедрения и гонки во всех направлениях под конец прошлого года мы решили позволить себе такую паузу. Количество пользователей системы значительно выросло, а значит выросли и ожидания публики, и наша ответственность.

В целом на 2024 год планируется работа по нескольким направлениям. Это наполнение качественным контентом бизнес-глоссария в сопровождении связки концептуального, логического и физических уровней, а также контроль бизнес-процесса ведения бизнес-глоссария. Это разработка новых проверок качества данных для критических элементов данных по требованиям бизнеса – потребителей данных и владельцев данных. Будем проводить каталогизацию метаданных по строящейся у нас Корпоративной платформе 2.0 на новых технологиях. Планируется детальное изучение сценариев работы целевой аудитории, работа с продуктовыми метриками и обратной связью пользователей. Наконец, планируем разработку центрального упрощенного интерфейса для поиска информационных активов, рассчитанного на максимально широкий круг пользователей.

В «Северстали» использовали передовые практики управления данными для области технологических данных. В рамках проекта решена задача сбора технологических данных с датчиков и обогащения их метаданными: технические места, единицы измерения, связи с проектами, владельцами данных. Наличие полной информации о них помогает сэкономить время на коммуникации и поиски в ходе дата-проектов. О роли достоверных и прозрачных технологических данных для компании рассказывает Евгений Курильщиков, владелец продукта «Управление данными» «Северстали» и номинант на премию Data Award.

- Почему управление технологическими данными было выделено в отдельное направление, которое требует дополнительных усилий?

Безусловно, технологические данные – это тоже данные. В классическом подходе мы оперируем метаданными, а сами данные рассматриваем только в контексте их качества. Нас интересует тип данных, в каких базах данных и таблицах они лежат, их происхождение и связь с терминами бизнес-глоссария. Здесь же объектом является физическая величина, которую мы получаем с датчика, и нам важны атрибуты этого сигнала, а не информация, в какой таблице мы его храним. Из непрерывного потока информации с датчиков мы извлекаем метаинформацию о сигналах, и сохраняем ее в каталоге, обогащая необходимыми атрибутами.

- В чем заключается особенность решаемой задачи?

Она заключается в огромном массиве данных. Нам нужно было не только организовать сбор метаданных в онлайн-режиме, но и провести большую работу с историческими данными, чтобы понять, что мы собирали раньше и что перестали, какие изменения произошли. То есть мы начали не с чистого листа, у нас уже был большой объем информации, в котором нужно было навести порядок.

- Почему это важно для «Северстали»?

Здесь нам поможет Льюис Кэролл: «Ну а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте. Если же хочешь попасть в другое место, тогда нужно бежать по меньшей мере вдвое быстрее!». Чтобы быть конкурентоспособными, нужно быстро принимать решения о том, как улучшить производительность, повысить качество, сократить незапланированные простои. Мы уже реализовали много проектов, используя технологические данные, и понимаем, что при реализации проекта уходит много времени на поиск тех самых 10-20 параметров работы оборудования, которые необходимы для реализации ML-модели. Имея хорошо описанные данные, мы сокращаем время разработки дата-продукта.

- С определением владельца других данных бывают проблемы, вплоть до назначения в приказном порядке. С технологическими данными все еще сложнее?

Да, я бы сказал, что здесь все еще сложнее. Ведь владельцем технологических данных является производственный персонал, так как операторы обеспечивают появление этих данных, знают все о конкретном датчике: где он установлен, как откалиброван, в каких единицах измерения снимает показания и т.д. Безусловно, инженеры являются специалистами высокого уровня, но их не обучали тем навыкам, которых мы сейчас от них требуем. А мы хотим, чтобы помимо сбора измерений они еще и описывали эти сигналы в нашей системе. Поэтому приходится дополнительно объяснять, зачем это нужно и каким образом нужно проводить это описание.

- Кто может быть владельцем технологических данных?

Как показывает практика, это технологический персонал: инженеры АСУТП, КИПиА, специалисты по ремонту и техническому обслуживанию – то есть сотрудники, которые занимаются обслуживанием оборудования, установкой и настройкой сбора данных в технологической сети.

- Как определяется политика сбора и хранения данных?

Изначально мы собирали все данные, с запасом на будущее – вдруг пригодятся. Но начав работы по описанию и каталогизации сигналов, которые собирали долгие годы, пришло понимание, что не все сигналы несут полезную нагрузку. Например, нет смысла хранить данные по оборудованию, которое уже списано или модернизировано. Мы определили для себя, что такое полезный сигнал, и на этапе считывания данных с контроллеров технологического оборудования начали их фильтровать.

- Что было сделано в рамках проекта?

В инструменте управления данными была реализована карточка объекта «тег» и «техническое место». Настроены процессы сбора метаданных и разработан регламент описания, определены обязательные и необязательные атрибуты, которые нам необходимы. По мере работы с огромным массивом информации мы начали выявлять отклонения от ожидаемого процесса. Скажем, в исторических данных могло быть пропущено один-два месяца, и сегодня уже никто не знает почему. Или, например, мы выявили случаи, когда на уровне оборудования сигнал изменял физическую сущность. Это могло произойти, если датчик меняли и на контроллере в порт подключали измерение с датчика напряжения вместо датчика тока. Подобные открытия подвели нас к проверке качества данных, которые мы собираем.

- Как боретесь за качество данных?

Для себя мы определили критерии качества, которые предъявляем к сигналам, и настроили ряд проверок. В настоящее время дата-стюарды отслеживают параметры качества, связанные сигналами, и в случае обнаружения аномалий предпринимают корректирующие действия. Наша задача – предоставить дата-инженерам качественное описание данных и быть уверенными, что описание соответствует фактически измеряемой величине, что сигналы привязаны к правильному узлу оборудования. Также на текущий момент мы отслеживаем изменения метаданных сигналов, которые используются в различных моделях машинного обучения или других инструментах. Ведь изменение сигнала, на котором строятся те или иные технологические процессы, может привести к некорректному поведению модели.

- Каковы результаты?

Нашей задачей была, в первую очередь, минимизация времени поиска необходимых сигналов, сократив время разработки моделей и увеличив производительность дата-команд, а также обеспечение доступа к этим данным большему кругу пользователей.

Нам удалось выстроить процесс сбора метаданных, решить вопрос с определением и назначением владельцев данных, создать команду дата-стюардов, которые помогают владельцам данных в описании и обогащении данных. Также, проанализировав накопленные данные, мы поняли, что есть ресурс для оптимизации хранилища, так как иногда собираются избыточные данные. Поэтому мы определили четкие критерии, определяющие, какие данные нужно собирать, а какие нет.

Также в процессе работы мы определили критерии качества к собираемым сигналам и приступили к разработке инструмента проверки качества промышленных данных, особенно тех, которые используются в моделях или технологических процессах.

Несколько проектных команд используют наш каталог как единственный источник данных об оборудовании и датчиках, которые на нем установлены. В настоящее время описано более 10% из более чем 500 тыс. активных сигналов.

- Какова роль проекта для компании?

Основная цель проекта для бизнеса – сформировать новую культуру работы с данными и сделать еще один шаг к принятию решений на основе данных. Мы пытаемся вовлечь в процессы управления данными как можно больше подразделений и сотрудников, сформировать привычку нести ответственность за данные, которые мы создаем и используем в ежедневной работе. Также данный проект даст целостную картину о параметрах работы всего оборудования и позволит реализовать проект цифрового двойника предприятия.

- Каковы дальнейшие направления развития?

Основная задача – распространить практику описания сигналов на все цеха и агрегаты. Это и даст возможность перейти к созданию цифровой копии комбината.

- Как проект отразится на дальнейших дата-проектах «Северстали»?

Я считаю, что по мере описания сигналов, дата-проектов станет больше, а их реализация будет занимать меньше времени. Дата-инженеры будут избавлены от необходимости проводить изыскательские работы по поиску сигналов, которые собираются с оборудования, и проверять, насколько этим сигналам можно доверять.

Ассоциация больших данных известна не только стратегией развития российского рынка больших данных и созданием кодекса этики использования больших данных. Одной из важнейших ее инициатив стало создание обучающего и сертификационного центра для специалистов, управляющих данными, – FIT Academy Russia. Запуск этой программы, выпускающей экспертов, подготовленных по международным стандартам, призван помочь в решении проблемы дефицита data-специалистов. О реализации этой программы и ее роли для рынка рассказывает Алексей Нейман, исполнительный директор Ассоциации больших данных и номинант на премию Data Award.

— В какие цифры оценивает Ассоциация дефицит специалистов по управлению данными? Как они будут изменяться в обозримой перспективе?

Согласно Стратегии развития рынка больших данных, разработанной Ассоциацией больших данных, для поддержания темпов роста отрасли к концу 2024 года потребуется 322 тыс. дата-специалистов, включая разработчиков и аналитиков ПО и приложений, специалистов по базам данных и сетям, руководителей служб и подразделений, технических инженеров, дизайнеров и поддержку ИТ.

Россия наравне с другими странами испытывает дефицит в кадрах – 1 млн человек ИТ-специалистов на 2022 год. Стоит отметить, что дефицит ИТ-специалистов – это вообще мировая тенденция, так, например, Microsoft оценивает их нехватку на глобальном рынке до 190 млн специалистов к 2025 году.

— Какие меры вы предпринимаете со своей стороны?

Ассоциация активно занимается просветительской работой – мы сотрудничаем с корпоративными университетами компаний-участниц АБД, наши специалисты проводят семинары и мастер-классы, а также являются менторами для молодых специалистов и стартапов. Мы не только воспитываем профессионалов отрасли, но и создаем благоприятную среду для их деятельности, растим сообщество, которое говорит на одном языке.

— Как родилась идея запуска FIT Academy Russia?

Запуск образовательной программы на русском языке стал для нас логичным шагом в реализации нашей стратегии и вкладом в подготовку высококвалифицированных специалистов, способных применить комплексный подход в управлении данными.

На первоначальном этапе запуска проекта перед Ассоциацией стоял выбор: разрабатывать отечественную сертификацию или же воспользоваться мировой практикой, такой как общепризнанная сертификация DAMA CDMP. Мы выбрали второй вариант, так как Россия достаточно хорошо интегрирована в мировое сообщество по управлению данными.

В 2020 году мы начали переговоры с DAMA EMEA и FIT Group об открытии подразделения, ориентированного на русскоязычных специалистов, и уже в 2021 году открыли FIT Academy Russia; FAR стала единственным официальным провайдером обучения управлению данными от DAMA, предоставляющим подготовку к сертификации CDMP на русском языке. Это очень важный шаг, так как, несмотря на владение data-специалистами английским языком, материал все равно лучше усваивается на родном языке. FAR устранила языковой барьер за счет перевода и локализации курса FIT Academy, а также актуализировала контент, обогатив обучающие материалы кейсами рынка данных РФ и примерами из личного опыта тренеров-практиков рынка.

— Какова цель проекта FIT Academy Russia?

Проект направлен на развитие и повышение уровня культуры управления данными в профессиональном сообществе. Мы стремимся не только определить стандарты, кого можно считать специалистом по управлению данными, но и выявить, что представляет собой его теоретическая подготовка, какими компетенциями он должен обладать, и какие требования HR-менеджеры должны предъявлять к кандидатам на должность в этой области.

FIT Academy Russia ставит перед собой задачу объединить специалистов в единое data-комьюнити для формирования общего понимания ключевых процессов управления данными, а также для выравнивания терминологии и процессов. Этот подход направлен на развитие экономики данных и является важным звеном в создании устойчивой системы обучения и развития профессионалов в области управления данными, способствуя профессиональному их росту и реализации как профессионалов.

— В чем ключевые особенности вашего подхода?

Фишка нашего подхода заключается в том, что FIT Academy Russia полностью соответствует всем мировым стандартам в образовании и одобрена DAMA International – организацией, разработавшей Data Management Body of Knowledge (DMBoK). В то же время локализация курса позволяет изучать материалы и готовиться к сертификации параллельно на русском и на английском языке. Несомненным нашим преимуществом также является тесная связь FIT Academy с DAMA International, что позволяет нам быть в курсе любых планируемых изменениях в DMBoK и в кратчайшие сроки актуализировать программу обучения, поэтому нашим слушателям не приходится ждать выхода обновленного издания DMBoK.

Еще одна важная особенность FIT Academy Russia – это возможность обучения целых корпоративных команд. После обучения такие специалисты способны провести цифровую трансформацию компании в кратчайшие сроки. Отдельно стоит отметить наших преподавателей. Команда тренеров состоит из действующих практиков, обладающих огромной экспертизой, без которых невозможно представить работу рынка данных в России.

— Что представляет собой платформа, какие возможности она предоставляет слушателям?

FIT Academy Russia использует решения FIT Academy. На обучающей платформе размещены материалы курса, видеозаписи лекций, а также блоки тестирования по каждой из пройденных тем, которые позволяют слушателям самостоятельно выработать навык ответа на вопросы сертификационного экзамена в индивидуальном порядке. Информационный портал платформы включает в себя профессиональную литературу по тематике данных и ИТ, подборки статей и нормативных актов из различных источников по таким темам, как этика обращения с данными, монетизация данных, ИИ, руководство данными. На платформе сформирован лист вакансий и резюме – публикация вакансий и размещение резюме доступны всем слушателям и клиентам FIT Group. Это позволяет слушателям при желании планировать международную карьеру.

— Какие результаты достигнуты?

За два года работы клиентами FIT Academy стали крупнейшие игроки рынка телекоммуникаций и банковской сферы в России. Обучение на курсе «Основы управления данными. Базовый курс» прошли команды data-офисов частных компаний и сотрудники государственных структур от Санкт-Петербурга до Сахалина. В 2023 году востребованность международной сертификации позволила FIT Academy Russia выйти на рынок СНГ и провести обучение на русском языке для клиентов из Казахстана и Беларуси, представляющих нефтегазовую отрасль, сферу банковских, ИТ и телеком услуг. С несколькими клиентами России и СНГ уже запланировано целевое обучение команд в I квартале 2024. Подтверждением актуальности курса и качества обучения является стопроцентная статистика прохождения сертификации слушателями на уровни Associate, Practitioner и Master.

В настоящий момент на территории России и СНГ уже работает около сотни сертифицированных специалистов, и мы стремимся кратно увеличить их число. Сейчас FIT Academy Russia ведет переговоры с FIT Group об эксклюзивном ценовом предложении для нашего рынка, которое повысит доступность курса для клиентов.

— Сертификация по международному стандарту – это действительно важно для рынка?

Да, безусловно, сертификация по международному стандарту играет крайне важную роль для рынка. Она обеспечивает студентам доступ к знаниям на самом высоком, мировом уровне, подтверждая их квалификацию и компетентность. Это важно не только для специалистов, но и для развития всего рынка. Наша ориентация на международную сертификацию помогает быть в центре передовых практик, методик и инноваций, что критически важно для развития сферы управления данными.

При принятии решения в пользу международной сертификации мы учитывали сложность создания отечественной сертификации с нуля – процесса разработки самого стандарта, утверждения формата, – а также ее валидации участниками рынка. Тем не менее, мы всерьез рассматриваем и возможность внедрения собственной сертификации, которая будет разработана с нуля и в будущем будет признана рынком как действенный инструмент оценки квалификации специалистов в области управления данными.

— Слушатели приходят только от компаний, или на частных лиц тоже рассчитываете?

Большинство слушателей курса – корпоративные клиенты: компании готовы вкладываться в развитие компетенций собственных специалистов. Но мы обучаем и физических лиц, с каждым индивидуально обговаривая комфортные варианты для сотрудничества, а также предоставляем скидки – как частным лицам, так и клиентам из В2В в зависимости от объема группы заказчика.

— Не провоцирует ли программа FIT Alumni, открывающая доступ к банку вакансий для дата-специалистов региона EMEA, отток специалистов с российского рынка?

В первую очередь программа FIT Alumni задумана как площадка для обмена опытом, сотрудничества и обогащению знаний по управлению данными. Поскольку рынок РФ достаточно конкурентоспособен по условиям работы, существенного оттока специалистов мы не ожидаем.

— Есть ли какие-либо оценки и предположения, как наличие сертификата влияет на должности специалистов и зарплаты?

Для специалистов подтверждение собственной экспертизы международным сертификатом давно является неоспоримым преимуществом на рынке труда, а сертификация в сфере работы с данными сегодня становится таким же минимумом к высокооплачиваемым специалистам, как несколько лет назад было владение навыками пользования ПК.

— Каковы планы по развитию проекта?

В наши планы входит повышение доступности курса для B2C, а также развитие линейки образовательных продуктов – в 2024 году мы планируем релиз специальных курсов «Руководство данными» и «Обеспечение качества данных», которые не только позволят углубить знания в этих областях, но и подготовят к сдаче специальных экзаменов CDMP Data Governance и Data Quality.

Успешное прохождение этих экзаменов после получения базовой сертификации CDMP Data Management Fundamentals позволит специалисту подтвердить свой уровень знаний и навыков управления данными на уровне Associate и Master. Это в свою очередь поможет значительно продвинуться по карьерной лестнице и комплексно улучшить управление данными в компании.

Кроме того, мы планируем продолжить организацию образовательных мероприятий и вебинаров, а также создание курсов «под ключ» для закрытия потребностей корпоративных клиентов.

В дополнение к сертификации CDMP, в январе 2024 года мы представили новый продукт – курс повышения квалификации «Владелец продукта на данных/Big Data Product Owner». Материалы курса охватывают весь спектр необходимых знаний и навыков по управлению данными: от идеи и концепции до финансовых аспектов, построения гипотез, технологий запуска, методологии SCRUM, работы с рисками и поддержки данных как продукта.

Для любой крупной организации порядок в данных является основой ее успешной работы. В РЖД решили эту проблему, создав импортонезависимую систему управления данными. Она охватила все критически важные данные компании, ускорив и упростив работу с ними, а также повысила доверие сотрудников к аналитической информации. О реализации проекта рассказывает Кирилл Семион, начальник департамента информатизации ОАО «РЖД» и номинант на премию Data Award.

— Какова история проекта создания системы управления данными в РЖД?

Компания имеет развитую организационную структуру – более 700 тыс. работников, ведет хозяйственную деятельность по различным направлениям. В связи с этим она имеет многослойную доменную структуру данных — более 100 доменов данных, которые соотносятся с бизнес-процессами.

Ключевой предпосылкой для реализации проекта явилось отсутствие единого заполненного каталога (глоссария) данных и репозитория форм отчетности, вследствие чего у сотрудников возникали завышенные временные затраты на поиск информации. В том числе большое количество времени уходило на исследование: где и какие данные хранятся, какими документами регламентируются, по каким правилам формируются.

Также отсутствие единого инструмента по ведению реестра отчетов, бизнес-терминов и показателей, приводило к созданию дублирующих отчетов, длительным срокам по предоставлению информации по запросам с уникальным набором показателей, ошибкам в интерпретации данных. В результате в рамках каждого проекта цифровой трансформации возникала необходимость длительного обследования бизнес-процесса – требовалось выяснить, где и каким образом хранятся данные, либо же разрабатывать новый процесс сбора данных.

— Какие задачи решает корпоративная система управления данными?

Целью создания КСУД является выстраивание процессов управления данными с учетом максимального использования существующих решений для развития компетенций работы с данными. Не менее важно сохранение инвестиций, сделанных в создание этих решений.

Фактически КСУД централизует процессы управления данными и унифицирует технологическую инфраструктуру, необходимую для непрерывного функционирования процессов управления данными. Ее создание позволяет решить множество задач. Самая очевидная из них – обеспечить руководство различных уровней, а также сотрудников, достоверной информацией о показателях и их наличии в любых отчетных формах. Кроме того, повышается уровень доверия к данным и аналитике за счет устранения противоречивых, избыточных, непоследовательных и не соответствующих стандартам качества данных. Растет эффективность хранения и работы с данными за счет исключения дублирующих потоков данных и неоправданного хранения одной и той же информации в различных системах, унифицируются процессы работы с данными и аналитической отчетностью. Наконец, именно такой подход дает возможность предоставить отраслевую аналитику в реальном времени с высокой степенью детализации.

— Что представляет собой созданная платформа?

Система охватывает все критически важные данные РЖД, необходимые для статистического, бухгалтерского и управленческого учета, и повышает удобство работы с ними. Она включает в себя несколько ключевых составляющих. Во-первых, это глоссарий бизнес-терминов, в рамках которого пользователи получают единую согласованную бизнес-терминологию, правила формирования показателей и информацию о владельцах данных. Вторая составляющая – репозиторий форм и аналитических справок. Он позволяет пользователю ответить на вопрос, какие методики и распоряжения необходимо использовать при работе с данными. Третий компонент – банк метаданных, показывающий, в какой системе формируются и публикуются данные. Наконец, система построения диаграмм жизненного цикла и потоков данных (lineage) позволяет наглядно отобразить связь показателей с системами-источниками и отчетами.

— На каких решениях построена платформа?

Бизнес-глоссарий, банк метаданных и система построения диаграмм жизненного цикла и потоков данных (lineage) построены на одной из отечественных платформ анализа и управления корпоративными данными, а репозиторий форм и аналитических справок реализован с помощью «Спутник ЕСМ».

— Сколько ресурсов потребовал проект?

Масштаб проекта оценивается в 204 тыс. человеко-часов. В состав команды входят высококвалифицированные сотрудники из нескольких подразделений РЖД, а также специалисты проектной команды подрядчика, привлеченных на постоянное время. В проектную команду вошли аналитики, дизайнеры и архитекторы из двух дочерних организаций (ОЦРВ, ЦС) и внешней – «КОРУС Консалтинг». Помимо этого, более 30 специалистов различных подразделений привлекались к работам над проектом с частичной вовлеченностью – это сотрудники бизнес-подразделений, отчетных подразделений, включая специалистов дорожного уровня, и инфраструктурных команд. Для эффективной реализации проекта было важно создать команду, которая объединит внутреннюю экспертизу и создаст новые компетенции в части управления данными. У проекта есть команда поддержки платформы, которая занимается решением инцидентов и оказанием консультаций по работе платформы. И, конечно, офис CDO, который производит постановку требований на развитие системы управления данными и отвечает за методологическую составляющую, выполняет задачи по внедрению использования системы в производственных процессах, формирует программу обучения.

— Что в ходе проекта было самым сложным?

Самым сложным было провести организационные изменения и плавно встроить разработанные принципы управления данными в текущие бизнес-процессы компании. Различная культура и уровень зрелости в подразделениях требует подготовки дифференцированной программы вовлечения сотрудников. Готовность к изменениям действительно отличается: есть весьма консервативные блоки, а есть очень адаптивные и инициативные.

Если говорить о методологической составляющей, мы начинали построение корпоративной системы управления данных с разработки Глоссария бизнес-терминов. Мы понимали, что это более сложный путь для таких крупных компаний, как РЖД. У нас большое количество бизнес-линий, много бизнес-терминов, они все пересекаются и нужно прийти к одному пониманию. Такой подход позволил нам создать структурированные правила, согласованные с бизнес-процессами, по работе с данными и определить приоритетность и направления работ в части ИТ-ландшафта.

Нельзя не сказать и о технологических сложностях, связанных в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Сложность проекта также обусловлена тем, что он реализован в короткие сроки на импортонезависимом ПО.

— Что удалось лучше всего, чем можно гордиться?

Важна обратная связь от бизнес-пользователей. Это самая лучшая награда и серьезное достижение. Система помогает решить проблемы с трактовкой при работе с показателями и аналитическими формами, сотрудники эффективнее взаимодействуют и быстрее решают задачи, поскольку одинаково понимают одни и те же термины.

— Каких результатов удалось достичь?

Нами описаны метаданные из 40 систем-источников, в том числе 265 форм статистической отчетности. Количество пользователей КСУД составляет более 9 тыс. специалистов, непосредственно работающих с аналитикой.

Работа специалистов – от топ-уровня до линейного уровня – по единой модели данных позволила привести к единообразию сбор данных по показателям. Особенно это важно для смежных подразделений, использующих одноименные показатели из разных систем-источников.

Например, внедрение инструментария по управлению данными позволило пользователям в кратчайшие сроки получать всю необходимую информацию о бизнес-термине: методика и алгоритм расчета, регламент формирования, владелец данных и др. Они могут сопоставлять данный бизнес-термин с конкретной цифрой в отчете, получать информацию о системах-источниках, где данная информация публикуется, а также узнавать в каких еще системах содержится аналогичная информация. Таким образом, инструментарий по управлению данными позволяет привязать используемые в РЖД бизнес-термины, с одной стороны, к физическим источникам данных, то есть системам, где эти термины ведутся, а с другой – к отчетам, в которых они используются. Все это позволяет снизить риск появления терминологической путаницы внутри компании, а также решить задачу по обеспечению специалистов оперативным доступом к информации обо всех критически важных данных.

В целом, комплекс инструментов позволяет разрабатывать аналитические формы с использованием единого методологического подхода, получать информацию о данных смежных подразделений, конструируя востребованные аналитические сервисы, переиспользовать существующие формы в новых BI-системах, сокращая трудозатраты. Снижается трудоемкость множества операций, связанных с работой с данными. И, конечно же, падает риск бизнес-ошибок, вызванных неверным пониманием бизнес-терминов.

— В чем выражается доверие пользователей к данным?

Доверие пользователей к данным выражается в использовании этих выверенных данных, как с точки зрения методологии, так и с точки зрения систем-источников, в повседневной работе при формировании отчетов, справочно-аналитических материалов для руководства ОАО «РЖД».

— Какова роль проекта для бизнеса РЖД?

КСУД РЖД предоставляет возможность взаимодействия с государственными органами и внешними партнерами в части обмена качественными данными, что составляет особую ценность и является стратегически важным для рынка данных транспортной отрасли. Формирование единой отраслевой модели данных работы такого крупного транспортного железнодорожного холдинга позволяет использовать ее более эффективно как внутри для собственных нужд один раз, а не каждый раз изучая, так и вовне. То есть мы получаем многократное использование единожды собранной информации о данных. За счет такой модели данных решения, которые мы делаем для себя, могут быть востребованы на рынке или в государстве, и мы сможем их тиражировать.

Проект КСУД обеспечит создание аналитических сервисов в холдинге РЖД на основе новых технологий контроля инфраструктуры, мониторинга перемещения грузов, моделирования и управления перевозочным процессом и даст возможность развития их в дальнейшем для использования на внешнем контуре компании.

Наконец, хочется отметить, что в периоды турбулентности управление данными – информационный актив компании, который помогает сохранить устойчивость. При этом на одно из первых мест выходит способность быстро меняться и адаптироваться к новым условиям рынка.

— В каком направлении будет развиваться проект?

Корпоративная система управления данными является базисом для моделирования и построения предиктивных моделей. Для построения предиктивных моделей необходимы качественные данные с единой методологией, над чем мы работали и продолжим работать, масштабируя созданные решения и методологические практики на все бизнес-подразделения РЖД.

В части импортозамещения ИТ-ландшафта мы планируем дальше структурировать и наполнять банк метаданных с целью повышения эффективности автоматизации, оптимизации и трансформации текущих процессов ОАО «РЖД».

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в 'скромные' 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

В X5 запустили продукт «Управление товарной представленностью», в котором модели машинного обучения определяют нетипичное отсутствие продаж по товару в конкретном магазине и шлют уведомление персоналу. Это позволило повысить доступность товаров на полках и объемы продаж. Для детектирования нежелательных событий в магазинах, таких как отсутствие товара на полке, нарушение выкладки или отсутствие ценника, используется анализ чеков. В результате время обнаружения проблемы не превышает часа.

В рамках еще одной инициативы был осуществлен переход с инструмента расчета объема промо-товаров, реализованного в SAP BW, на собственное решение. При этом точность прогноза относительно старого решения в ряде случаев выросла до 40%, на AB-тестах подтвержден значительной рост товарооборота и маржи, а также сокращение распродаж после промо-акций.

О реализации этих проектов и их результатах рассказала Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023.

— Какие задачи решает платформа прогнозирования X5, когда создана, на каких технологиях работает?

Платформа прогнозирования Х5 выросла из продукта «Спрос», команда которой была сформирована в 2019 году. В его рамках был реализован прогноз продаж для логистики и коммерции – нам важно знать, какое количество товара, в каком магазине и в какой день будет продано и обеспечить продажи поставками. Так мы понимаем, сколько товара закупать у поставщика под промо и регулярные продажи. По мере развития этого продукта и добавления новых продуктовых инициатив, стали развиваться общие компоненты, которые переиспользуются и помогают быстрее внедрять новые функции, а также запускать новые продукты. Так и появилась платформа прогнозирования. В стек использованных при ее создании технологий входят Hadoop, Airflow, Kubernetes и Spark.

— Какие направления работы стали наиболее актуальными в последнее время?

На текущий момент наиболее актуальным стало направление долгосрочного прогнозирования. Отдельно стоит сказать про развитие управления товарной представленностью: мы обнаруживаем нежелательные события – факты снижения доступности товара для покупателей, а также анализируем факторы, которые к этому привели.

Кроме того, в начале года мы столкнулись с объективной необходимостью ускоренного перехода на собственные решения. Так, например, в торговой сети «Пятерочка» мы за два месяца перешли с инструмента прогноза промо иностранного вендора на собственное платформенное решение на базе машинного обучения. Это, конечно, обеспечило не только поддержку критичных бизнес-процессов, но и повысило качество инструмента, в том числе точность прогнозов.

— С какими именно нежелательными событиями вы боретесь? Почему они происходят?

У нас есть модель, которая в режиме времени, близком к реальному, определяет, что продажи в магазине по конкретной позиции нетипично отсутствуют. Она отмечает высокую вероятность того, что продажа должна была случиться, однако этого не произошло. В этом случае мы говорим, что произошло какое-то событие, которое помешало покупателю приобрести товар: отсутствие товара на полке, нарушение выкладки, отсутствие ценника. Мы не знаем, что именно произошло, но знаем, что возник фактор снижения доступности товара для покупателя.

— Во сколько оцениваются потери от таких событий, наверняка вы это пытались в каком-то виде оценить?

Довольно сложно произвести такую оценку, ведь ее невозможно валидировать. Мы можем оценить с помощью продвинутых математических методов, какие бы продажи случились, если бы «нежелательные события» не произошли, но качество этой оценки невозможно замерить достоверно. Тем не менее, наши оценки доходят до 20% оборота по отдельным категориям товаров, и экспертная аналитика показывает, что на эти цифры можно ориентироваться, чтобы понимать потенциал создаваемых решений.

— Как боролись с этим до сих пор, что получалось хорошо, а что – не очень?

Есть два подхода к решению этой проблемы. Первый из них – жесткий контроль, но он требует большого человеческого ресурса. Второй вариант – автоматическая проверка данных и выставление заданий на этой базе.

В прошлом компания использовала довольно простые эвристики. Например, по наиболее продаваемому ассортименту у магазина должна быть хотя бы одна продажа в день. Если продажи по какой-то позиции не случалось, то персоналу было необходимо проверить, в чем причина, и устранить ее. Проблема заключается в том, что в этот список так или иначе могли попасть позиции, которые не продавались по другим причинам – например, именно в этом магазине на них просто нет спроса. Сотрудникам добавлялось работы по проверке, которая не всегда была оправданной. Поэтому нам было важно максимально точно идентифицировать случаи, где проблема действительно есть, и не нагружать магазин лишней работой, а наоборот – помогать более точечно находить проблемы и наращивать товарооборот.

— Почему это важно для бизнеса, помимо собственно минимизации упущенных продаж?

Здесь очень много факторов. Во-первых, это лояльность наших покупателей и привлекательность торговой сети. Если покупатели не находят то, зачем пришли, то могут и не вернуться. Для нас важно, чтобы гости находили на полке товар, который им нужен, и возвращались снова и снова.

Во-вторых, устранение таких проблем за счет цифровых решений напрямую влияет на рост продаж. Если с товаром на полке проблема – его не покупают.

В-третьих, если продажа не случилась, то мы не понимаем потенциал продаж и в будущем, исходя из заниженной оценки, прогнозируем более скромные показатели и везем меньше товара в магазин.

Наконец, такая система в конечном счете влияет на сокращение трудозатрат персонала. Сотрудникам не нужно проверять все полки и весь ассортимент, они точечно проходятся по нашим заданиям, а остальное время уделяют гостям, приемке и множеству других своих задач. Упростить работу сотрудников магазинов, помочь им достигать свои цели по показателям – для нас это очень важно.

— Какие варианты решения проблемы рассматривались? В чем их плюсы и минусы?

Решение на базе чековых данных, если честно, довольно очевидное. К тому же анализировать чековые данные нам все равно нужно, и восстанавливать продажи – тоже нужно, так что это естественное развитие системы прогнозирования для переиспользования наработок в других функциях. Мы в целом стараемся смотреть на вещи широко и думать, где еще могут быть полезны наши решения, ведь синергия между функциями и бизнесами – в приоритете для X5.

Альтернативный способ решения вопроса – видеоаналитика. Я бы не сказала, что он конкурирующий: если бы видеоаналитика была, мы бы могли использовать их разметку для обучения моделей. Да и в целом решения могли бы дополнять друг друга. Но проблема видеоаналитики в том, что у нас очень много магазинов, а оборудование для аналитики довольно дорогостоящее и оборудовать все магазины было бы просто нецелесообразно. К тому же у нас широкая ассортиментная матрица, и задача по распознаванию товаров на полке тоже становится довольно объемной. Поэтому использование подхода с чековыми данными стало рациональным решением проблемы с точки зрения бюджета, качества и сроков.

— Вероятно, аналитикой чеков в X5 занимаются уже давно. Какие задачи уже удавалось эффективно решить?

Данные по чекам используются в разных продуктах – например, в подразделении, занимающемся управлением потребительской ценностью (Customer Value Management, CVM), команды используют их для создания таргетированных маркетинговых акций.

— Чеки появляются, когда клиент уже покинул магазин. Как на основе чеков можно оперативно выявить проблему на полке?

Чек появляется, как только он был пробит. Да, могут быть некоторые временные задержки, но у нас чек оказывается не позднее чем через полчаса после того, как он был сформирован на кассе. Разумеется, мы уже не успеем предложить этому покупателю товар, который он не смог найти, но мы узнаем о проблеме и устраним ее для наших следующих гостей. Мы видим, как после наших сигналов продажи возобновляются, и это отличный эффект. Ведь лучше исправить обнаруженную проблему, чем продолжать упускать продажи.

— В чем суть проекта, что было сделано?

В течение дня мы каждый час формируем сигналы и отправляем их в магазины. Их получают директора и администраторы. На старте проекта для пилота мы разработали телеграм-бота, где зарегистрировался персонал. Сотрудники получали оповещения и шли их отрабатывать. На каждый сигнал по своему магазину они в ответ указывали нам, что действительно есть проблема и называли причину, либо отвечали, что все в порядке и система ошиблась. На основе этой обратной связи мы оценивали качество модели и работали над тем, чтобы повысить точность сигналов. Когда точность показалась достаточной, мы запустили AB-тест. В пилотной группе было 300 магазинов, которые получали сигналы, а в контрольной – 300 магазинов, которые сигналы не получали. По результатам теста мы произвели точечную оценку прироста товарооборота. Мы увидели хороший прирост при том, что уведомления рассылались ограниченно, а не по всем позициям, так как мы не могли перегружать сотрудников. Так мы убедились, что действительно приносим финансовый эффект, а не просто добавили работы сотрудникам.

Далее мы интегрировали нашу платформу со стандартными системами магазина и отказались от телеграм-бота. Теперь сотрудники отрабатывают наши задания в своих привычных инструментах. При этом если задание отработано в одном инструменте, то и в другом оно отмечается как сделанное. Нам очень важно, чтобы решением было удобно пользоваться.

— Что представляет собой созданное решение? Как выглядят его сигналы?

По сути само решение не имеет интерфейса, мы взаимодействуем с существующими в компании системами. Там в стандартной для сотрудников форме появляется задание от нашей системы наряду с другими. Указывается время срабатывания уведомления, наименование и код товара, также есть возможность ответить на сигнал: указать корректный он или нет, а если проблема подтверждается – выбрать причину.

— Сколько времени проходит между появлением проблемы и первыми сигналами о том, что «что-то не так»?

От получаса до часа, не более.

— А сколько времени детектирование проблем занимало раньше? То есть какого сокращения времени устранения проблем удалось достичь?

Это очень хороший вопрос. Конечно, сотрудник мог проходить между полками и заметить, что есть проблема нехватки товара. Но может быть и так, что сотрудник не увидел товар на складе и не выложил его. Или может быть, что в системе на остатке числится товар, а по факту его нет. В этом случае система пополнения думает, что продажи обеспечены, и товар в магазин не везут. Здесь до момента, пока проблему обнаружат, может проходить более суток.

— Как эти результаты оцениваются в деньгах, ведь невозможность взять с полки товар – это прямые потери магазина?

Мы называем это упущенными продажами. Результат мы оцениваем на базе АВ-теста, это самый достоверный способ сказать, что изменение продаж произошло именно за счет воздействия нашего инструмента, а не каких-то других факторов. Кроме того, мы оцениваем потенциал по упущенным продажам на базе восстановленных продаж, эта цифра получается из анализа динамики продаж в определенном временном периоде и на соседних объектах. Условно, если мы в среднем продаем 9 штук, а сегодня продали 2, то 7 штук мы восстановим. Логика модели сложнее и учитывает множество факторов, но в целом можно описать это так.

— Каковы направления развития этого проекта?

Мы продолжаем развивать модель в сторону повышения точности детектирования проблем, а также большой упор делаем на определение их причин. Ведь снижение доступности происходит не только из-за нарушения процессов в магазине. Сотрудник может повлиять на это, если товар числится в остатках. Ровно такая проверка стоит перед отправкой уведомления: нет смысла отдавать задание в магазин, если у них нет остатка.

Но в целом по цепочке может быть много причин: нарушение уровня сервиса поставщика, некорректные параметры в системе и т.п. Мы активно движемся в сторону их идентификации и развиваем инструменты для этих функций.

— В начале года SAP уведомил вас об отключении своего облака. Каков был масштаб проблем: насколько сильным был этот удар и каких систем коснулся?

Да, в марте нас предупредили о том, что мы больше не сможем пользоваться облаком SAP. Штаб импортозамещения нашей компании начал активно прорабатывать вопрос: каких процессов это касается, какие альтернативы есть, что необходимо предпринять. По большей части это коснулось отчетности, так как в SAP BW реализуется именно отчетность. Но также там был реализован функционал прогноза промо-продаж. К этому моменту у нас уже год функционировало собственное решение для торговой сети «Перекресток» на базе платформы прогнозирования и, конечно же, у нас были планы перевести на него и торговую сеть «Пятерочка». Но в «Пятерочке» существенно больше пользователей, и переход планировался в течение года. В новой ситуации не было сомнений, что переезжать нужно именно на наше решение: оно уже было готово, но пришлось ускориться.

— В чем была задача прежнего решения для расчета объема промо? Кто его использовал и какие результаты получал?

Прошлый «промо-калькулятор» имел очень простую логику. Пользователь самостоятельно выбирал аналогичный период промо-акции или товар-аналог и его период промо. Далее на базе прошлых продаж составлялся прогноз будущих продаж.

Инструмент использовали категорийные менеджеры, они получали прогноз продаж на выбранные магазины и позиции по дням. Никакие особенности SAP BW не использовались, просто исторически инструмент реализовали в этой системе, так как в BW содержались все нужные для расчетов данные. Это было задолго до того, как в компании появились другие технологии по работе с данными.

— Почему уже заранее началась разработка замещающего решения? Что не нравилось в старом, что хотелось улучшить?

Как я уже сказала, подходы к прогнозированию были довольно тривиальные и не учитывали ничего, кроме факта продаж в одной исторической точке. Новые подходы позволяли учитывать различные факторы: цену, сезон, расположение товара в каталоге и его предложение на кассе, фактор предпраздничных дней. Кроме того, мы учитываем динамику продаж и историю с 2018 года! Из этих данных можно получить очень много ценной информации для повышения точности прогноза.

— Что собой представляет новое решение, каков принцип его работы?

Новое решение представляет из себя сервис с пользовательским интерфейсом. Пользователь указывает, какие товары в каких магазинах и за какой период он хочет поставить в промо-акцию, а также его параметры – например, цену. Далее сервис готовит расчет по этим параметрам и возвращает пользователю прогнозы объемов продаж. Расчет реализуется с помощью модели машинного обучения, которая уже обучена на исторических данных.

— За счет чего решение дает лучшие результаты по сравнению с предыдущим?

Основной эффект мы получаем за счет более продвинутых математических подходов относительно прошлого решения.

— Какого эффекта удалось достичь в результате перехода?

Точность прогноза сильно выросла – до 40% по сравнению с предыдущим решением, подтвержден значительной рост товарооборота и маржи, сокращено количество распродаж после промо-акций. Что касается финансового эффекта, то мы не раскрываем конкретные цифры, но это значимые показатели.

— Разработанное решение дает синергию с прогнозом регулярных продаж. За счет чего она происходит?

Синергия заключается в том, что при прогнозировании регулярных продаж система знает, какие промо-акции и какие планы по продажам будут реализованы. Таким образом, мы учитываем каннибализацию промо-продажами регулярных позиций и привозим ровно столько товара, сколько нужно. Это приводит к снижению списаний и избыточных товарных запасов.

— Каковы планы по развитию этого решения и его расширению на другие области?

В данном решении мы еще не достигли предела по качеству и планируем развивать подходы к математическому моделированию для повышения эффективности. Кроме того, для нас актуально долгосрочное прогнозирование, и мы будем расширять горизонт прогноза с текущих 16 недель до горизонта планирования со стороны категорийных менеджеров и закупок. Также сервис для прогноза промо позволяет осуществлять анализ what-if – проводить оценку сценариев по прогнозу продаж в зависимости от различных параметров: позиции, цены, наличия рекламы на ТВ и другое. Данный инструмент планируется развивать и для других направлений – например, регулярных продаж и плана поставок.