Цифровая культура

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в 'скромные' 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

Технологии процессной аналитики (Process Mining) становятся все более популярными. Многие компании достигли впечатляющих успехов в автоматизации своих процессов и стали обладателями цифровых следов сотрудников, работающих в корпоративных системах. Анализ действий сотрудников в приложениях дает ценную информацию и пищу для размышлений об эффективности процессов.

PwC и ABBYY подвели итоги исследования «Process Mining: преодоление барьеров на пути к успеху», проведенного среди крупных отечественных компаний, и обсудили его результаты с приглашенными экспертами. По итогам исследования выяснилось, что каждая вторая компания планирует использовать процессную аналитику через три года. Пока же лишь 20% опрошенных сообщили, что уже применяют интеллектуальный анализ хотя бы для одного бизнес-процесса. Главным барьером для внедрения Process Mining является качество данных об операционной деятельности: по-прежнему слишком много действий сотрудники проводят вне информационных систем, не оставляя никаких следов о своей работе.

Знания о процессах

«Результаты проведенного ранее глобального исследования были интересны, но нам не хватало местного колорита, который терялся на общем фоне. Нам было важно узнать, как обстоят дела в России, во многом для того, чтобы самим лучше понимать, в каком направлении имеет смысл развивать технологию и лучше понимать заказчиков», — рассказал Григорий Борисенко, директор и руководитель практики по оказанию услуг в области анализа данных PwC в России. По его словам, многие наблюдения стали интересными, подтвердив имевшиеся гипотезы или пролив свет на неожиданные области.

90% опрошенных компаний в том или ином виде занимаются анализом и оптимизацией своих процессов, хотя у большинства из них эта работа не носит систематического характера. Главным образом, информацию о качестве процессов черпают из традиционных средств бизнес-аналитики. При этом 38% не видят принципиальной разницы между специализированными системами Process Mining и классическими BI-решениями.

Что вполне ожидаемо, первыми Process Mining начали применять прогрессивные компании, которые в нашей стране сосредоточены в нефтегазовой и финансовой отраслях и вообще являются флагманами применения цифровых решений. Очень перспективная технология не могла быть пропущена ими. «Это как ремонт, который невозможно завершить. Компании, которые занялись процессной аналитикой, постоянно расширяют охват системы, непрерывно развивают и совершенствуют процессы», — отметил Борисенко.

Как констатировал Олег Сажин, заместитель генерального директора ABBYY в России, в среднем около 50% бизнес-процессов компаний до сих происходит вне информационных систем. Это может говорить о невысокой зрелости процессов и в целом сильно влияет на эффективность технологии процессной аналитики.

«Можно дозревать и расширять охват информационных систем, создавая цифровые следы сотрудников. А можно использовать средства Task Mining, позволяющие собирать информацию о работе пользователей «окольными» методами, отслеживая всю активность на их компьютерах», — рекомендовал Сажин.

Примерно таким путем идут в банке «Уралсиб». Как подчеркнул Максим Сарычев, руководитель дирекции процессного управления «Уралсиб», важно смотреть на процессную аналитику шире и исследовать процессы, не представленные ни в одной информационной системе. Например, в банке используют решение ABBYY Timeline, позволяющее сочетать Process Mining и Task Mining.

Task Mining позволяет изучать «разорванные» процессы, когда часть задач решается в информационной системе, а часть заключается в работе с документами и в офисных приложениях. За счет этого удается «склеить» кусочки знаний о процессах и собрать картину в единое целое.

Вторая задача, решаемая в «Уралсибе», заключается в автоматическом формировании нормативов. «Мы можем собрать по определенным функциональным ролям «фотографии» рабочего дня сотрудников, понять решаемые ими задачи, соотнести их с процессами, и сформировать нормативы производительности», — объяснил Сарычев. Кроме того, Process Mining – это замечательный инструмент не только для аналитика, но и для владельца процесса, который хочет управлять им, развивать его, понимать узкие места. Наконец, становится возможным контроль процедур: система позволяет выстроить цепочку правильного исполнения процесса и в случае ее нарушения или отклонения сигнализирует об этом.

«Чем глубже копаем, тем выше интерес»

«У меня было ощущение, что Process Mining применяется чуть ли не повсеместно, и без нее мало какие процессы анализируются. С меня сняли розовые очки», — признался Антон Платонов, руководитель направления по развитию ОЦО сети «Магнит». По его мнению, это очень хорошая технология для выявления проблем. Она показывает потраченные впустую усилия, лишние и повторные действия, что может указывать на сильную неэффективность процесса. Отчет о таких фактах позволяет взглянуть на процесс с другой стороны.

В компаниях действительно очень многие вопросы решаются по почте, на словах, в мессенджерах и т.д., – в целом такая ситуация характерна для многих. Но даже в уже имеющихся системах накоплена масса полезной информации.

«Мы видим достаточно обширную картину и обнаружили много проблем, на которые обратил внимание менеджмент. Чем глубже мы копаем, тем больше областей для работы находим, и тем выше наш интерес», — сказал Платонов. При этом задача по переводу взаимодействия из неформальных каналов в корпоративные системы не является обязательной для использования Process Mining. Скорее, это сигнал руководству о том, что многое в компании можно улучшить.

«Уже полтора года, как мы используем процессную аналитику в закупках, на электронной торговой площадке, в управлении мастер-данными и логистике. После завершения проекта отношение к ней поменялось: так как мы получили значимый эффект и определенный кредит доверия», — поделилась опытом Анастасия Головина, руководитель группы отчетности «Северстали». В 2022 году планируется расширить использование технологии на двух новых процессах, для этого уже одобрены бюджеты. По данным проведенного инвестанализа по всем внедренным четырем процессам, в среднем проект окупается меньше чем за три года. И есть процессы, где окупаемость составляет меньше года за счет вау-эффектов, способных перевесить все затраты. Головина признала, что сейчас проникновение Process Mining весьма мало, и ее удручает низкая информированность аудитории о технологии как таковой и жесткий стоп-фактор в виде незрелости процессов.

В Tele2 используют решение компании Celonis еще с 2017 года, и с тех пор многие подразделения уже поняли его прелесть. Как рассказала Елена Бебешко, руководитель службы методологии Tele2, свое знакомство с Process Mining начинали с пилотного проекта, который был необходим, чтобы убедить руководство в ценности этой технологии. В качестве «подопытного кролика» выступал платежный процесс – самый простой и максимально автоматизированный. Затем продолжили работу в договорных и логистических процессах, а также в процессах развития сети.

Сейчас в Tele2 даже существует довольно длинная очередь из процессов, которые требуют аналитики. Область применения технологии может быть разной – например, часто система выступает в качестве доказательства скептикам, что процесс выстроен оптимально и не требует изменений.

Что тормозит Process Mining

Как подчеркнули все участники встречи, спектр проблем, с которыми приходится сталкиваться при внедрении Process Mining, весьма разнообразен: это и недостаточная цифровизация процессов, и низкая корпоративная культура, и недостаток цифр, на которые можно опереться при проведении расчета эффективности.

«Самое главное – стоит ли система тех денег и времени, которые на них тратятся», — озвучил Платонов вопрос, который приходится слышать от всех руководителей. По его убеждению, сложности возникают тогда, когда Process Mining пытаются предлагать клиенту как независимое решение. В этом случае ее ценность надо еще увидеть. Гораздо правильнее ее предлагать в качестве вспомогательного инструмента – например, в ходе обследования процессов. Это отличная альтернатива традиционному анкетированию и опросам пользователей. А на фоне общих затрат на такое обследование стоимость Process Mining довольно мала, но зато это дает доказательную базу, которую можно продемонстрировать топ-менеджменту.

«Один из основных барьеров – культура работы над процессами», — считает Сарычев. У процессов есть владельцы, которые привыкли управлять ими, опираясь на определенный набор данных. Появление нового инструмента – это всегда изменение привычек, которое всем дается тяжело, даже если речь идет об автоматизации рутины.

Второй тонкий момент – особенности сбора данных о действиях пользователей. Когда внедряется инструментарий для сбора информации о работе сотрудников, требуется разработка целого плана коммуникаций, направленного на снятие всех опасений пользователей, важно объяснять, для чего используется информация. Это помогает в последующем обеспечить достоверность собираемых данных.

«Для нас серьезным испытанием стала ресурсная составляющая. Мы сталкивались с отсутствием внутренних ресурсов и дороговизной внешних, что влекло за собой сложность согласования бюджетов», — отметила Бебешко. Кроме того, она выделила низкую готовность владельцев процессов включаться в проекты по анализу своего хозяйства, их страх продемонстрировать свою некомпетентность. Наконец, никто не хотел тратить время.

Неавтоматизированные и разрывающиеся процессы – большая проблема для любой компании. Они сильно влияют не только на трудоемкость проектов, но и на применимость Process Mining и ограничивают интерес к ней.

Как резюмировал Борисенко, кому точно не надо заниматься аналитикой процессов – так это компаниям, подразделения которых представляют собой «функциональные колодцы». Такие подразделения не хотят смотреть вокруг и сфокусированы на достижении собственных целей. У них нет сквозных процессов и сквозных показателей эффективности, они больше всего боятся того, что кто-то извне может увидеть их недостатки. В условиях такой местечковости аналитику процессов продвигать тяжело.