Качество данных: три перспективы, один результат

Информация всегда была ключевым ресурсом — и в личной жизни, и в управлении организациями, и в государственной деятельности. Она помогала принимать решения, планировать будущее и понимать окружающий мир. Однако термин «данные» в его современном значении вошел в широкий обиход лишь во второй половине XX века, когда информационные технологии начали менять нашу реальность. С развитием компьютеров, баз данных и сетей данные превратились из абстрактного понятия в конкретный актив цифровой экономики. Сегодня их называют «новой нефтью», подчеркивая их ценность. Но, как и с нефтью, качество этого ресурса определяет, принесет ли он пользу или станет источником проблем. Важно не только собирать данные, но и обеспечивать их качество, безопасность и возможность использования для создания ценности. В цифровой экономике качество данных стало критическим фактором успешности — как для бизнеса, так и для государственного управления.

Масштабы проблемы впечатляют. По данным исследования Gartner, компании ежегодно теряют до 30% выручки из-за низкого качества данных — ошибок, пробелов или несогласованности. Experian сообщает, что 91% организаций сталкиваются с финансовыми последствиями, вызванными «грязными» данными: от упущенных возможностей до прямых убытков. В России 72% компаний фиксируют финансовые потери из-за проблем с данными, а 36% признают, что им не хватает компетенций для управления быстро растущими объемами информации. Казалось бы, рост применения цифровых технологий должен решать эти вопросы, автоматизируя процессы и повышая точность. Но на деле он часто их усугубляет: чем больше данных, тем сложнее следить за их качеством.

При этом цифровая экономика все больше опирается на ИТ, которые зависят от качественной информации. Искусственный интеллект (ИИ), машинное обучение (ML), большие данные (Big Data) и аналитика в реальном времени — это инструменты, которые преобразуют бизнес и управление. Например, ИИ может прогнозировать спрос, оптимизировать логистику или выявлять мошенничество, но только если данные точны и актуальны. Машинное обучение строит модели на основе исторических данных — если они содержат ошибки или дубликаты, модель будет выдавать неверные результаты. Аналитика Big Data помогает находить закономерности в огромных массивах информации, но без стандартизации и достоверности она теряет смысл. Даже простые системы автоматизации, такие как CRM или ERP, зависят от качества данных: неверный адрес клиента в CRM приведет к сбою доставки, а ошибки в ERP исказят финансовые отчеты. Таким образом, технологии не просто решают проблемы — они требуют качественного «сырья», чтобы работать эффективно.

Почему же рост технологий не устраняет проблему, а порой делает ее острее? Чем больше данных мы собираем, тем сложнее их контролировать. Чем шире применяем ИИ и аналитику, тем выше цена ошибки. В этой статье мы рассмотрим подход к управлению качеством данных, который поможет организациям не утонуть в цифровом потоке, а использовать его для достижения целей. Мы разберем, как связать данные с результатами, какие аспекты качества важны и как современные технологии могут стать союзниками, а не источником новых вызовов.

Подход к анализу качества данных

Для анализа качества данных воспользуемся моделью DIKAR, связывающей данные с конечными результатами, а также десятью аспектами качества данных по DMBOK. Модель DIKAR описывает путь от данных к результатам: Data (данные) → Information (информация) → Knowledge (знания) → Action (действия) → Results (результаты). Она показывает, как качество данных влияет на решения и успех и используется для анализа управления информацией. Предлагаем рассмотреть проблему качества данных через три перспективы:

• Перспектива владельца данных определяет, какие данные должны собираться и обрабатываться.
• Перспектива обработки данных в информационных системах фокусируется на стандартизации, верификации и доступности данных.
• Перспектива анализа данных оценивает пригодность данных для принятия решений.

Три перспективы качества данных: ролевая модель

Управление данными — междисциплинарная деятельность. Чтобы понять качество данных, нужно взглянуть на него с разных сторон. Представьте: вы собираете паззл, но у вас есть только часть деталей. Как собрать целую картину? Мы предлагаем разделить задачу на три перспективы, которые отражают роли участников процесса. Эти роли могут пересекаться, но каждая из них вносит уникальный вклад в общее понимание качества данных.

1. Перспектива владельца данных

Кто лучше всех знает, какие данные нужны для работы? Конечно, тот, кто ими владеет и отвечает за деятельность, связанную с ними. Владелец (информации) данных — это человек или подразделение, которое создает информацию и заинтересовано в ее контроле. В российском контексте это закреплено в 149-ФЗ, ГОСТ Р 50922-96, Гражданском кодексе РФ, где подчеркивается важность управления информацией как ресурсом.

Для владельца данных качество определяется следующими аспектами: полнота (собраны ли все необходимые данные), точность (соответствуют ли они реальности), актуальность (обновляются ли они вовремя) и защищенность (безопасны ли данные с точки зрения конфиденциальности).

Если данные неполные или устаревшие, владелец теряет контроль над своим ресурсом. Вы бы доверили управление бизнесом информации, в которой не уверены?

2. Перспектива обработки данных в информационных системах

Теперь перенесемся в мир ИТ. Здесь данные превращаются из абстрактного ресурса в рабочий инструмент, готовый к использованию в цифровой экономике. ИТ-подразделения обеспечивают обработку, стандартизацию и доступность данных, задавая скорость и масштаб принятия решений в организациях. Их роль — это не просто техническая поддержка, а критический этап жизненного цикла данных, где хаотичный поток информации превращается в структурированный актив. Без качественной обработки данные остаются сырыми и бесполезными, как необработанная руда, из которой нельзя сразу сделать инструмент. Качество определяется следующими аспектами:

• Стандартизация: данные должны соответствовать единому формату. Например, даты в виде «01.01.2025», а не смесь «январь 25» и «25/01», чтобы системы могли их корректно интерпретировать.
• Верификация: отсутствие дубликатов или противоречий. Если одна система показывает 100 продаж, а другая — 90, то это подрывает доверие к данным.
• Доступность: легкость извлечения данных. Если аналитику нужно неделю копаться в старой базе, чтобы найти нужные записи, данные теряют свою ценность.
• Стабильность: целостность данных при передаче между системами. Например, при интеграции CRM и ERP информация о заказах не должна искажаться или теряться.

Если система выдает ошибку из-за несогласованных данных — скажем, клиентский заказ дублируется в базе из-за сбоя синхронизации, — весь процесс останавливается: доставка задерживается, отчеты искажаются, доверие к системе падает. ИТ отвечает за очистку и доставку данных, превращая их в надежный инструмент. Рассмотрим пример: компания, стремящаяся увеличить продажи на 10%, зависит от ИТ, чтобы интегрировать данные о заказах из разных филиалов, устранить дубликаты и обеспечить их доступность для аналитиков в реальном времени. Без этого усилия владельцев данных по сбору информации о клиентах окажутся напрасными, а аналитики не смогут построить точные прогнозы.

3. Перспектива анализа данных

Наконец, данные доходят до тех, кто использует их для принятия решений — аналитиков и руководителей, применяющих подход data-driven. Это последний этап, где данные превращаются в ценность для бизнеса: стратегии, прогнозы, операционные улучшения. Качество здесь определяется:

• Достоверностью: основаны ли данные на фактах? Если записи о продажах содержат ошибки, прогнозы будут ложными.
• Релевантностью: подходят ли данные для задачи? Устаревшая информация о спросе бесполезна для текущего планирования.
• Интерпретируемостью: понятны ли данные с метаданными? Без контекста (например, откуда взялись цифры) они теряют смысл.
• Интегрируемостью: можно ли объединить данные из разных источников? Например, сочетание продаж и погодных данных дает более точные тренды.

Недостоверные данные ведут к катастрофам: неверный прогноз спроса может привести к перепроизводству или дефициту товара. Стоит ли доверять стратегии, построенной на «грязных» данных?

Эти три перспективы взаимосвязаны: проблемы на одном этапе — например, неполные данные у владельца — тянут за собой ошибки в обработке ИТ и провалы в анализе. Разделение позволяет структурировать подход и выявить слабые места в цепочке управления данными.

Роль CDO: стратегический координатор баланса

В условиях экономики данных управление качеством становится все более сложной задачей. Объемы информации растут с каждым днем, процессы усложняются из-за интеграции новых технологий и систем, а ответственность за данные распределяется между множеством участников — от операционных отделов до ИТ и аналитических команд. Кто же должен держать все под контролем? Chief Data Officer (CDO) выступает стратегическим координатором, а не просто исполнителем отдельных задач. Его миссия — не утонуть в операционной рутине, а выстроить систему, которая обеспечит качество данных на всех уровнях. Как сделать управление эффективным, избегая громоздкости и хаоса? Здесь нам помогает принцип Эшби («управляемая система не должна быть сложнее управляющей»), предлагающий баланс между структурой и гибкостью.

Организация — как оркестр: владельцы данных, ИТ и аналитики играют свои партии. Без координации это превращается в хаос, где каждый тянет в свою сторону. CDO — дирижер, задающий гармонию, чтобы разрозненные усилия стали единой системой. Система данных сложна: множество источников (CRM, ERP, внешние API), форматов (структурированные таблицы, неструктурированные тексты), проблем (дубликаты, несогласованность, устаревшие записи). Если управление пытается копировать этот хаос — вводя бесконечные правила, избыточные проверки и провоцируя конфликты ролей, — оно становится неэффективным и превращается в бюрократический кошмар. Принцип Эшби требует от CDO найти баланс: система управления должна быть структурированной, а не хаотичной, как сами данные, но при этом достаточно гибкой, чтобы держать ключевые аспекты под контролем.

Структурированность достигается через несколько подходов. Во-перввых, это единые стандарты: использование фреймворков вроде DMBOK, которые охватывают полноту, точность и другие аспекты качества, задает общие правила игры для всех участников. Во-вторых, автоматизация: мониторинг согласованности и целостности данных с помощью инструментов (например, ETL-процессов, систем MDM, Каталог данных) снижает нагрузку на людей и ускоряет процессы. Наконец, распределение ролей: владельцы данных отвечают за актуальность, ИТ — за целостность и доступность, аналитики — за релевантность и интерпретируемость.

Например, в компании внедряют новую CRM-систему для управления клиентскими данными. CDO координирует усилия: владельцы данных (отдел продаж) регулярно обновляют записи о клиентах, ИТ синхронизирует CRM с другими системами (например, складским ПО), а аналитики используют обработанные данные для прогнозирования спроса. Без такой координации данные о клиентах могли бы устареть, синхронизация — дать сбой, а прогнозы — оказаться бесполезными. Хаос укрощен четкой системой, где каждый знает свою роль.

Главный продукт CDO — это не исправленные данные, а система договоренностей о критериях качества и его стоимости. Сколько стоит актуальность данных в реальном времени? CDO помогает бизнесу понять: 1% роста точности прогнозов может окупить затраты на внедрение системы мониторинга — например, потоковой обработки данных для анализа поведения клиентов. Data-контракт становится инструментом, который фиксирует эти ожидания: владельцы определяют, какие данные критически важны (например, записи о заказах), ИТ гарантирует их обработку и доступность, аналитики подтверждают пригодность для стратегических решений. CDO внедряет политики защиты данных и контроля доступа, поддерживая безопасность и репутацию, а также организует обучение сотрудников новым методам анализа.

Это «дорожная карта», где прописаны роли, стандарты качества и зоны ответственности, упрощая координацию и снижая риски недопонимания между участниками процесса. Управление остается структурированным (четкие роли, стандарты, автоматизация), эффективным (охват всех ключевых аспектов качества, от полноты до надежности), гибким (адаптация к изменениям, таким как добавление новых источников данных или требований бизнеса).

Вопрос к вам: если бы вы были CDO, как бы вы организовали управление данными в своей организации?

От результата к данным

Любая деятельность организации направлена на достижение определенного результата: увеличение прибыли, повышение эффективности процессов, соблюдение нормативных требований или улучшение клиентского опыта. Это требует затрат ресурсов — временных, финансовых, человеческих. В условиях цифровой экономики важнейшую роль в этом процессе играют данные, которые становятся основой для принятия решений на всех уровнях. Однако связь между данными и результатами часто недооценивается: многие организации либо не осознают ее значимости, либо воспринимают как нечто само собой разумеющееся, упуская из виду необходимость контроля качества. Согласно модели DIKAR, для достижения результата необходимо пройти путь:

1. Данные: владельцы и ИТ задают стандарты и источники, собирая сырую информацию.
2. Информация: офис CDO и ИТ-подразделения структурируют и обрабатывают данные, превращая их в осмысленные отчёты, готовые для анализа.
3. Знания: аналитики выявляют тренды и закономерности на основе этой информации.
4. Действия: руководители и операционные менеджеры реализуют стратегии, опираясь на знания.
5. Результаты: конечные итоги, измеряемые конкретными показателями — выручка, скорость процессов, удовлетворенность клиентов.

На практике же компании нередко пытаются «перепрыгнуть» через этапы: решения принимаются интуитивно, без четкой привязки к информации и знаниям, а проблемы с качеством данных выявляются только на этапе анализа результатов, когда исправить что-либо уже дорого и сложно. Например, если данные о продажах содержат дубликаты, отчет покажет завышенные цифры, знания окажутся ложными, а решение увеличить производство приведет к переизбытку товара и убыткам.

Обратный инжиниринг переворачивает этот подход, начиная с конца. Сначала определяется желаемый результат — скажем, рост продаж на 10%. Затем выделяются ключевые метрики, которые его характеризуют: средний чек, конверсия в покупку, объем повторных заказов. После этого выясняется, какие данные нужны для расчета этих метрик: записи транзакций, поведение клиентов, история покупок. Такой метод позволяет:

• Сфокусироваться на важных данных — вместо сбора всего подряд ресурсы направляются на ключевые источники.
• Упростить требования к качеству — не нужно доводить до идеала все данные, достаточно обеспечить точность и актуальность тех, что влияют на метрики.
• Повысить вовлеченность владельцев — зная, как их данные связаны с результатом, они охотнее поддерживают качество.
• Создать четкую систему управления: роли и процессы выстраиваются вокруг цели.

Например, цель — повышение эффективности процессов. Метрики — скорость выполнения операций и точность прогнозирования спроса. Данные — логи операций и исторические продажи. Обратный подход связывает данные с целью, минимизируя избыточные усилия и концентрируясь на том, что действительно важно для успеха.

Моделирование результата как мера качества данных

Качество данных в экономике данных — это не просто абстрактная характеристика, которую можно измерить процентами точности или полноты. Главный показатель качества данных — это результат принятых решений, который мы можем и должны моделировать. Результат — это не случайный итог вроде роста прибыли или оптимизации процессов, а доказательство того, что данные сделали возможным осмысленное и эффективное действие. Если решение, основанное на данных, привело к провалу — например, рекламная кампания не привлекла клиентов из-за ошибок в анализе спроса, — разве можно назвать эти данные качественными, даже если они технически безупречны?

Моделирование результата — это ключ к пониманию, какие данные нам нужны и какого уровня качества они должны достичь. Оно включает:

1. Ключевые решения: какие управленческие шаги зависят от данных? Например, корректировка цен для повышения маржи, управление запасами для сокращения затрат, оценка кредитных рисков для минимизации потерь.
2. Критические данные: какие данные влияют на эти решения? Для ценообразования — текущий спрос и конкурентные цены, для запасов — история продаж и прогнозы.
3. Требования к качеству: какие параметры важны? Актуальность данных о спросе, точность клиентских записей, полнота истории транзакций.
4. Оценка ошибок: как «грязные» данные могут повлиять на бизнес? Неточные данные о запасах приведут к дефициту или переизбытку, а ошибки в кредитных данных — к убыткам от дефолтов.

Data-контракт закрепляет эти требования, обеспечивая предсказуемость решений. Он фиксирует, какие данные должны быть собраны, как обработаны и для чего использованы, создавая основу для взаимодействия между владельцами, ИТ и аналитиками.

Пример: цель — рост продаж на 10%. Путь через модель DIKAR: действия (запуск рекламной кампании), знания (тренды покупательского поведения), информация (анализ клиентских данных), данные (записи транзакций и предпочтений). Качество данных становится инструментом, а не самоцелью — оно важно настолько, насколько поддерживает результат.

Три перспективы структурируют этот подход: владельцы задают базовые требования, обеспечивая реальность данных; ИТ гарантирует их готовность к использованию через согласованность и доступность; аналитики проверяют применимость, оценивая релевантность и интерпретируемость. CDO выступает координатором, помогая сторонам договориться о том, что считать качеством и сколько оно стоит. Ведь качество — это не бесплатно: повышение точности на 1% может стоить миллионы (например, внедрение потоковой аналитики), но, если это окупается ростом выручки, инвестиции оправданы. Принцип Эшби напоминает: управление качеством данных должно быть структурированным для контроля, избегая бюрократии или потери управления. Моделирование результата позволяет найти баланс — сосредоточиться на критически важных аспектах качества, экономя ресурсы там, где идеал не нужен.

В итоге качество данных измеряется не только метриками, а их вкладом в успех организации. Экономика данных требует от нас не просто собирать и хранить информацию, а превращать ее в решения, которые работают. Моделируя результат, мы задаем вопрос: «Какие данные приведут нас к цели?» Ответ на него — это и есть настоящий показатель качества.

Заключение

Качество данных — это не просто чистота записей в базе данных, а их способность вести к успеху. Данные выполняют роль топлива: чистое топливо разгоняет бизнес, грязное — тормозит. Три перспективы — владельцы, ИТ, аналитики — и CDO как координатор превращают хаос в систему. Обратный инжиниринг и data-контракт фокусируют усилия на результате, будь то рост продаж или эффективность. Экономика данных требует не просто собирать информацию, а делать ее полезной. Использование данных для конкуренции требует не только технологий, но и культуры работы с данными.

Как вы оцениваете свои данные — по таблицам или итогам? Ответ покажет, готовы ли вы к цифровому будущему. Давайте обсуждать, как данные могут работать лучше — для бизнеса, государства и для каждого из нас.

Автор — Станислав Карамушко, генеральный директор Центра информационного менеджмента