Статьи

Вовлечение бизнеса в более активную работу с данными стоит на повестке большинства компаний. В «Магните» к решению этой задачи подошли многогранно: перестроены принципы взаимодействия офиса данных с пользователями, проводятся многочисленные популяризационные мероприятия и тренинги, а импортозамещающий BI-инструмент «МагРепорт» стал популярен среди самой широкой аудитории. О проведенной работе и достигнутых результатах рассказывает Павел Шорохов, CDO сети «Магнит» и номинант на премию Data Award.

— Какие проблемы вы решали, почему офису CDO потребовалось меняться?

Управление данными в «Магните» развивалось эволюционно и очень давно. Корпоративное хранилище данных было создано еще в 2010 году на базе решений Teradata. За более чем 10 лет появилось много функциональности. Я помню, как в 2020 году мы обсуждали с вендором покупку одного решения, связанного с резервным копированием, но когда они увидели нашу собственную разработку, то сказали: «Вам наш продукт не понадобится: то, что вы сделали, – более функционально!». Тем не менее, развитие управления данными было довольно стихийным. Это и понятно: ретейл – очень динамичная сфера деятельности, и поэтому очередь задач у разработчиков всегда росла стремительно. Это привело к тому, что данных было много, но не всегда было понятно, как их быстро найти и какого они качества. Было непонятно, кто за что отвечает – множество разных команд работали над разными этапами формирования данных, не было закрепленных ответственных за кросс-функциональный процесс. Количество запросов на изменения росло, но скорость решения задач и пропускная способность не менялись.

Мы поставили себе задачу – повысить доступность данных, вовлечь сотрудников компании в активную работу с данными и улучшить их пользовательский опыт.

— Как вы подошли к решению задачи?

Мы трансформировали офис CDO и операционную модель работы с данными для 10 тыс. сотрудников. Чтобы улучшить пользовательский опыт, мы поменяли формат работы пользователей с офисом CDO: перешли к модели единого окна, в роли которого выступают выделенные для каждого направления бизнеса data-партнеры. Каждый data-партнер стал своеобразным аккаунт-менеджером своего бизнес-блока и при этом управляет кросс-функциональной data-командой.

Кроме того, мы упростили процесс поиска и работы с данными – сейчас поиск можно осуществлять через каталог данных, а также через чат-бот в Telegram и корпоративном мессенджере. Дополнительно мы предоставили пользователям возможности self-service BI на базе нашего собственного решения «МагРепорт». Наконец, мы организовали внутренние курсы повышения квалификации по работе с данными, запустили регулярный обзор Data Digest про основные изменения в области работы с данными и создали специализированные data-комьюнити.

— Как воспринимают эту «движуху» пользователи? У них не вызывает сомнений необходимость изменений?

До «Магнита» я работал более 10 лет в ИТ-консалтинге и успел увидеть, как работают с данными многие компании. Мало где можно увидеть такую же готовность к изменениям, как в «Магните»! Бизнес не только не сомневается в том, что нужно менять подходы, но и часто готов участвовать, и мы работаем над изменениями в одной команде.

— Что важнее: организационные или технологические изменения?

Чтобы построить космический корабль, одинаково необходимы и высокие технологии, и лучшие инженеры, и правильно выстроенные процессы. Убери что-то одно, и успеха не будет. Мы строим не космический корабль, но базовый принцип тот же: организационные и технологические изменения одинаково важны, и они должны дополнять друг друга.

Например, мы поставили перед собой цель повысить доступность данных, начали строить корпоративное озеро данных. Но озеро данных само по себе еще не решение – важно, чтобы поиск информации в нем был максимально быстрым и удобным. Это, в свою очередь, потребовало наличия инструментов Data Governance. Эти инструменты могут эффективно работать только при наличии налаженных процессов управления данными, в том числе закрепления владельцев данных и появления новых ролей, таких как дата-стюард.

В итоге для достижения цели нам понадобились и технологические, и организационные изменения, чего-то одного было бы недостаточно.

— Какие результаты были достигнуты?

В совокупности перечисленные изменения дали сокращение времени разработки data-продуктов по всем ключевым направлениям, образовались центры компетенций, а главное – повысилась удовлетворенность бизнеса и его вовлеченность в использование инструментов данных.

Выросла data-driven культура: за год в полтора раза (на 50%) выросло количество ad-hoc пользователей. Это связано с тем, что сотрудники теперь понимают, где лежат нужные им данные, и быстрее их находят. Это стимулирует интерес к данным. На 81% выросло количество запросов к данным. В 2,7 раз выросло количество посещений инструментов self-service BI.

Кроме того, повышена прозрачность формирования данных: на 158% выросло ежемесячное количество посещений базы знаний корпоративного хранилища данных. У нового каталога данных количество уникальных пользователей за месяц увеличилось на 450 человек, это дополнительные 2 тыс. посещений в месяц. Более 400 сотрудников компании пользуются минимум дважды в месяц новым чат-ботом для самообслуживания при работе с КХД.

Наконец, нужно отметить повышение грамотности работы с данными – так называемую data literacy. 60 сотрудников прошли обучение по работе с инструментами self-service BI и 120 – по работе с хранилищем данных. Созданы сообщества по инструментам работы с данными, в которые суммарно входит более 300 участников. Кстати, еще 60 студентов поступили в нашу «Школу бизнес-анализа» (всего было получено более 3 тыс. заявок), по итогам прохождения которой 45% готовы устроиться в «Магнит».

— Как вы оцениваете эти результаты? Отработали удачно или ожидалось лучше?

Безусловно, впереди очень много работы, и нам есть к чему стремиться. Но мы – и, главное, бизнес – видим огромные результаты, к которым привела проделанная работа. Очень мотивирует, когда заказчики пишут нам, что стало комфортнее работать с данными и теперь они стали эффективнее. Мы понимаем, что предстоит еще много изменений. Впереди огромный пласт работы в области качества данных и, конечно, реализация масштабного проекта по импортозамещению. Огромный вызов в том, что одновременно с этими масштабными изменениями мы должны повышать эффективность и качество нашей операционной работы – то есть решение ежедневно возникающих задач бизнеса при работе с данными.

— Вы упомянули про data-driven культуру. Что вы понимаете под этим словом?

Обычно под data-driven культурой подразумевают вовлеченность сотрудников компании в активное использование данных, которое выражается в принятии стратегических решений, основанных на анализе данных и их интерпретации. С этой точки зрения вряд ли в современном мире может выжить «не data-driven» компания – крупный бизнес важные решения обязательно принимает, основываясь на данных. Поэтому сейчас я бы уточнил это определение, добавив к параметру «вовлеченность в использование данных» два других важных параметра: «доступность данных» и «качество данных». Таким образом, получается, что data-driven культура – это возможность сотрудников компании быстро получать нужные им качественные и актуальные данные, на основе анализа которых они принимают стратегические решения.

— Что нужно, чтобы повысить data-driven культуру компании?

Ключевая задача для достижения такого состояния – упростить работу с данными. Приведу пример. Помню, как 20 лет назад мы с другом обсуждали, в какой стране больше население: во Франции или Италии. Нам пришлось доставать БЭС и искать статьи про эти страны. Оказалось, что население этих стран очень близко по численности, а учитывая, что энциклопедия была старой, данные, возможно, были неактуальны. Сегодня наш спор разрешился бы прямо во время разговора – не вставая с места, в телефоне один из нас ввел бы буквально один поисковый запрос и получил ответ.

Задача с доступом к корпоративным данным выглядит точно так же. Одна из целей офиса данных заключается в том, чтобы пользователи получали ответы на свои вопросы мгновенно или, по крайней мере, за комфортное для них время. Пусть сотрудник занимается своей работой, а в тот момент, когда ему понадобятся данные для принятия решения, получает их максимально быстро и в удобном ему виде. При этом он должен понимать, какие данные ему доступны, что они означают и какого они качества.

Мы уделяем работе по созданию такой прозрачности большое внимание: чат-боты, каталоги, бизнес-глоссарии, базы знаний, data-комьюнити – общая площадка для общения сотрудников про данные. Эти мероприятия помогают повысить доверие к данным и инструментам работы с ними, а значит, и повысить data-driven культуру.

— Расскажите подробнее про «Школу бизнес-анализа». Что это за курс, на кого ориентирован и какие задачи решает?

Мы запустили «Школу бизнес-анализа» в ноябре 2022 года. Ключевыми предпосылками стала высокая потребность компании в бизнес-аналитиках (более 200 человек в год). Решили готовить их самостоятельно: давать людям необходимые знания, а лучших пробовать трудоустраивать, исходя из потребностей на момент окончания курса.

Если вкратце о курсе, то мы взялись за полгода (и 247 академических часов) подготовить 60 обучающихся из четырех стран. Все обучение проводится действующими сотрудниками компании из 8 департаментов, то есть мы обучаем на реальных практических кейсах. Курс состоит из следующих крупных блоков: управление в бизнес-аналитике, информационные технологии для целей бизнес-анализа (в том числе архитектура данных, знакомство с Big Data, BI и основы управления данными), финансы и бюджетирование, аналитика в ретейле и развитие личностных компетенций.

На выходе студенты получают диплом государственного образца, практические знания и трудоустройство (по наличию мест в компании на момент окончания обучения), а компания – подготовленных «бойцов». База целевой аудитории для рекрутинга состоит из более чем 400 молодых специалистов – потенциальных кандидатов.

— Какое значение имеют предпринятые усилия по вовлечению сотрудников в работу с данными для бизнеса компании?

Невозможно измерить значимость того, что компания стала более data-driven. Но по косвенным признакам вижу, что данные действительно меняют компанию. Повышение доступности данных и, одновременно с этим, уровня компетенций сотрудников привели к тому, что решения на основе данных стали приниматься быстрее и, как было сказано выше, существенно вырос спрос на данные и аналитику.

Есть и долгосрочный эффект: знания, полученные аналитиками, привели к появлению новых идей и возможностей по использованию данных. Это, в свою очередь, привело к тому, что в начале 2023 года одновременно стартовало несколько крупных проектов, связанных с данными и продвинутой аналитикой.

— Реалии 2022 года отразились на многих аналитических инициативах: популярные BI-вендоры ушли с рынка. Как это откорректировало ваши планы?

Мы импортозаместили BI своими руками: разработали собственную систему корпоративной отчетности «МагРепорт» с возможностью быстро создавать отчеты на основе достоверных данных, выгружать их в Excel в формате, нужном получателю, взаимодействовать с корпоративными сервисами шифрования данных и управлять разграничением доступа как на уровне объектов системы, так и данных. Эта система закрывает базовые потребности в аналитике: она доступна через удобный веб-интерфейс и позволяет работать в стиле сводных таблиц с данными в СУБД. Для остальных задач мы планируем внедрить и другие решения.

— Какие результаты достигнуты?

«Магрепорт» сегодня выступает корпоративным порталом, обслуживающим тысячи пользователей практически из всех подразделений компании.

В цифрах результаты можно описать следующим образом: сегодня это 5 тыс. уникальных пользователей за месяц – от директора магазина до директора департамента, 36 тыс. отчетов, запускаемых в месяц, более 120 предподготовленных отчетов для бизнеса.

— Какова значимость этого проекта для бизнеса?

Сегодня мы уверены, что вне зависимости от любых санкций у наших пользователей всегда будет гарантированный доступ к анализу данных. Причем благодаря простоте использования «МагРепорт» легко подключается к любой информационной системе, в которой нет системы отчетности, а необходимость ее загрузки в хранилище данных сомнительна. В зависимости от сложности источника данных за считанные дни, а иногда даже часы, пользователь, не обладающий технической подготовкой, получает возможность исследовать данные и проверить свои гипотезы.

Мы надеемся, что инструмент будет полезен не только нам, но и поможет другим компаниям, которые столкнулись с проблемой импортозамещения BI-инструментов, поэтому мы выпустили «МагРепорт» в open source.

В «БАРС Груп» внедрили решение Analytic Workspace в бизнес-центре BI, с помощью которого систематизировали данные ресурсного планирования и провели анализ эффективности выполнения задач. Это позволило запустить основанную на данных трансформацию подразделения и подготовить почву для масштабирования системы на всю компанию. О реализации проекта рассказывает Арслан Катеев, руководитель отдела аналитики и внедрения бизнес-центра BI-решений компании «БАРС Груп» и номинант на премию Data Award.

— Что привело к реализации проекта? В чем заключались проблемы?

В 2021 году с целью внутренней оптимизации и развития компания «БАРС Груп» запустила пилот по переходу на scrum-модель планирования и реализации задач руководителями структурных подразделений по достижению квартальных OKR (Objectives and Key Results) на основе мониторинга достижения количественных показателей. Каждый руководитель подразделения предложил свой список метрик, релевантных для оценки деятельности его направления. Списки были объединены для формирования общей картины эффективности работы отдельного юнита компании «БАРС Груп» – Бизнес-центра BI-решений (БЦ BI), который был выбран как пилотный для этого проекта.

— Почему это было важно для компании?

Финансовые метрики должны давать возможность видеть, насколько БЦ BI приближается к плановым показателям по выручке и рентабельности. При этом нужно контролировать возможный перерасход бюджета по каждому проекту для своевременного выяснения причин и коррекции стратегии реализации проекта.

Производственные метрики должны отражать оценку процента выполнения плана, среднее списание времени по типам задач для определения доли трудозатрат по коммерческим и инвестиционным проектам. Таким образом, еще одной задачей была оценка распределения трудозатрат по подразделениям для выявления возможности перераспределения кадровых и бюджетных ресурсов на более доходные либо иным образом коммерчески оправданные задачи.

Кроме того, требовалось разработать метрики, характеризующие работу команды. Это не классическая HR-аналитика, но близко к ней: востребованность ресурсов, переработки, командировки. Если мониторить эти показатели, то можно заранее увидеть потребности в увеличении команды или перераспределении нагрузки.

— Что вы понимаете под термином «трансформация, основанная на данных»?

Я для себя формулирую так: это изменение от видения картины бизнеса «по ощущениям» к видению этой картины в цифрах, на основании актуальных данных. Это позволяет легко сравнивать показатели, анализировать отклонения от плана и принимать соответствующие управленческие решения.

— Какие задачи были поставлены перед проектом?

Необходимо было реализовать сбор, анализ и визуализацию данных бизнес-центра компании в реальном времени по нескольким направлениям: финансовый и кадровый учет, проектная деятельность, производство (разработка и внедрение), сопровождение.

Важным моментом являлось обеспечение соблюдения уровней доступа к информации, то есть к некоторым информационным панелям либо разрезам данных должен быть доступ только у руководителей направлений, к другим – у рядовых аналитиков. При этом данные требовалось собирать из нескольких источников: внутренней СУБД компании на базе PostgreSQL, Jira (подключение по API), внешней системы техподдержки (подключение по API), а также партнерского кабинета «БАРС Груп».

— Какие требования предъявляли к создаваемому решению, как выбирали платформу?

Для решения поставленных задач был выбран комплекс решений, состоящий из платформы данных AlphaBI и self-service BI платформы Analytic Workspace. На начальном этапе важно было заложить прочную основу под описательную аналитику и обеспечить максимальное качество данных. Для этого использовались модуль ETL и конструктор хранилища AlphaBI, который позволил создать единое информационное поле для четырех систем и шести предметных областей, проставить зависимости между данными и обеспечить их своевременное наполнение. Для реализации диагностической аналитики, получения ответов на вопросы: «Почему это произошло?» и визуализации метрик был использован Analytic Workspace – инструмент интерактивного анализа и визуализации данных.

Analytic Workspace – это наше партнерское решение, мы прекрасно знаем его возможности и поэтому долго выбирать нам не пришлось. Наиболее значимыми для нас была возможность подключения одновременно к нескольким источникам данных, быстрое внедрение обучение сотрудников – решение было полностью готово к использованию меньше чем за три месяца. Важно отметить наличие полноценного ETL-модуля, ролевой модели доступа, а также соотношение стоимости и функционала.

— Что собой представляет созданная система?

В рамках проекта «Метрики БАРС Груп» был сформирован ряд информационных панелей. Всего их было создано более 50.

Наиболее важным было финансовое направление, оно включило отклонения по бюджетам сделок, трудозатратам и коммерческому чеку. Например, на информационной панели «План-факт отклонение по бюджетам сделок» мы контролируем прямые расходы бизнес-центра по каждому из проектов и отклонения в процентном и абсолютном выражении от планируемого темпа расхода бюджета. Если отклонение становится существенным (скажем, более 25%), то актуальным может оказаться перераспределение бюджета между сделками либо плана проекта. То же самое касается отклонений от плана по трудозатратам – мы можем своевременно усилить команду на «буксующей» сделке, перебросив людей с проекта, где по факту сформировался избыток трудовых ресурсов.

Что касается анализа отклонений по коммерческому чеку, то бизнес в нашей компании организован таким образом, что некоторая часть сделок является не вполне коммерческой, это так называемые «инвестиционные» проекты. Доход по ним получается ниже коммерческого чека, однако они важны – например, для продвижения и повышения узнаваемости компании на рынке. При этом важно контролировать, чтобы доля таких сделок не превышала определенного предела для сохранения прибыльности бизнеса.

Если говорить о кадровом направлении, то основными пользователями этих метрик являются руководители отдельных направлений БЦ BI, которые принимают управленческие решения, касающиеся их подразделений, пользуясь актуальными данными метрик. Например, при планировании рабочего времени крайне полезным оказалось узнать фактическую мощность команды – ведь, скажем, из 10 человек, в среднем, один оказывается в отпуске, на больничном или в командировке. Кроме того, важно знать долю отпусков и больничных в общей структуре затрат, а также статистику по командировкам.

Производственное направление информационных панелей включает анализ трудозатрат (среднее списание времени по типам задач, доля задач с типом ошибок, доля непроизводственных затрат), а также анализ выполнения задач – процент попадания в оценку, абсолютное отклонение от оценки, среднее время пребывания в статусе и переиспользование функционала.

— Что в ходе проекта вызвало наибольшие сложности, как их решали?

Как ни удивительно прозвучит, наибольшей сложностью оказалось собрать с руководителей подразделений те метрики, с которыми они теперь работают каждый день, для формирования общей архитектуры проекта. Людям трудно отвлечься от каждодневных задач, чтобы выделить усилия на создание чего-то нового и непривычного.

— Каких бизнес-результатов удалось достичь за счет реализации проекта?

Внедрение BI-системы позволило более эффективно перераспределить производственные ресурсы, что дало возможность существенно сократить нецелевые расходы, оптимизировать бюджетное планирование и увеличить чистую прибыль бизнес-центра компании. Так, например, около 3% сделок содержали ошибки при планировании бизнес-процессов (а это порядка 50 сделок в год в абсолютном выражении). После реализации проекта удалось свести этот показатель к нулю.

Еще один пример: выяснилось, что около 20% трудозатрат одной из команд уходили на недоходные сделки. Мы пересмотрели ресурсное планирование, сфокусировав внимание на коммерчески выгодных сделках, что позволило ускорить разработку и внедрение наших продуктов для коммерческих заказчиков и на 7% повысить выполнение KPI.

— Что из этого для вас является самым главным?

Самое главное – удалось в целом достичь на 5% лучших показателей план-факт по году. Это произошло за счет того, что при анализе отклонений от плана по конкретным проектам мы теперь имеем возможность оперативно перераспределять финансовые и трудовые ресурсы, пользуясь актуальными данными и имея перед глазами всю картину бизнеса в реальном времени.

— Пытались ли оценить эффекты в финансовом выражении?

Да, конечно. За счет тех изменений в ресурсном планировании и сокращения нецелевых расходов, о которых я уже говорил, мы смогли добиться улучшения финансовых показателей бизнес-центра по рентабельности на 5% в целом по году.

— В каком направлении будет развиваться проект?

Поскольку проект оказался успешным на примере нашего бизнес-центра, планируется внедрение системы и в других бизнес-центрах компании «БАРС Груп».

В компании «Финам» создан офис данных, главной задачей которого стало повышение эффективности бизнес-процессов и оптимизация работы с клиентами. О предпринятых шагах и принципах взаимодействия с бизнесом рассказывает Николай Саратовский, руководитель офиса данных компании «Финам» и номинант на премию Data Award.

— Два года назад вы участвовали в Data Award и рассказали о своих первых шагах по созданию в «Финаме» рекомендательных систем для менеджеров на основе машинного обучения. Что интересного произошло с тех пор? Выделите несколько ключевых вех.

Мы проделали огромный объем работы и буквально с нуля перезапустили все внутренние процессы. Это позволило нам максимально эффективно отработать падение на финансовых рынках в 2022 году и выйти из кризиса с минимальными потерями. В частности, мы расширили функционал рекомендательной системы, которая рассчитана как на действующих, так и на потенциальных клиентов. Был разработан центр управления коммуникациями, позволяющий эффективно доставлять предложение до клиентов с использованием различных каналов связи (не только через менеджеров). С помощью этой разработки мы смогли балансировать информационную нагрузку и на клиентов, и на персонал.

— Как были сформулированы задачи, стоящие перед офисом данных, какова его миссия? На каком этапе своего развития он находится?

Ситуация на финансовых рынках постоянно меняется, а в последний год волатильность повысилась еще сильнее, поэтому нам приходится проявлять гибкость, чтобы отслеживать все тренды. На этом фоне видоизменяются и эволюционируют задачи, которые стоят перед дата-офисом. Также на нашей деятельности сказываются и внутренние процессы – мы выстраиваем свою работу, исходя из накапливаемых в озере данных и вливания в него новых источников. Если кратко, наша основная миссия – повысить эффективность бизнес-процессов таким образом, чтобы минимизировать влияние внешних факторов и оптимизировать работу с клиентами без потери качества – в частности, увеличить кросс-продажи, используя минимум ресурсов.

— Важной целью офиса данных обычно становится евангелизация работы с данными и продвижение в компании data-driven культуры. Какие усилия прикладываются в этом направлении?

В нашем подразделении появились дата-стюарды, которые как раз стали евангелистами data-driven культуры в компании. Они вырабатывают принципы построения хранилища данных, занимаются описанием источников данных, а также дают оценку их качества. Кроме того, дата-стюарды выстраивают базу знаний, позволяющую аналитикам и дата-сайентистам эффективно и быстро работать с данными, искать необходимые для бизнеса ответы на вопросы и разрабатывать новые системы на базе машинного обучения.

— Что важнее: организационные мероприятия или техническая «демократизация данных» – обеспечение их прозрачности и доступности?

На мой взгляд, оба эти фактора важны одинаково, они взаимно дополняют друг друга.

— Какие технологии лежат в основе хранилища данных и решений для управления и работы с данными?

Мы используем Hadoop, Spark, Kafka и Python.

— Какие показательные проекты были реализованы в последнее время, каковы их результаты?

Мы реализовали и продолжаем развивать три больших проекта: рекомендательная система 2.0, умный аналитический дайджест и автоматизированные отчеты (по компании в целом и продуктам в частности).

В рамках рекомендательной системы мы сократили количество коммуникаций вдвое по сравнению с обычной продажей, также мы отмечаем рост заинтересованности и удовлетворенности клиентов. Результатом реализации умного аналитического дайджеста стало повышение открываемости и читаемости рассылок до 20%, в некоторых случаях – до 30%. Автоматизированные отчеты помогли сократить время на подготовку отчетности в три-пять раз. Глубина отчетов увеличена с трех месяцев до пяти лет. В некоторых отчетах глубину отображаемых данных удалось нарастить даже до 15 лет.

— Какие ключевые сервисы данных сейчас находятся в стадии реализации? Каковы ожидания относительно них?

В стадии реализации сейчас находится «AI-скринер» — инструмент для инвесторов, построенный на алгоритмах машинного обучения. Сервис обучен и протестирован на финансовых показателях компаний, макроэкономических данных, техническом анализе и других данных, что позволяет ему делать прогнозы относительно капитализации компании: рассчитывать стоимость ценных бумаг, дивидендную доходность, чистую прибыль и другие показатели. Думаю, скринер будет востребован среди розничных инвесторов, поскольку в разы облегчит процесс инвестирования и сэкономит время на анализ котировок.

— Исходя из каких соображений ранжируются проекты? Наверняка они стоят в очереди на год вперед...

Если речь идет о ноу-хау, которого нет у конкурентов, а исследования на фокус-группах говорят, что проект может быть востребован среди клиентов, то задаче будет присвоен высший приоритет и она в кратчайшие сроки окажется в разработке. Следующими по грейду идут проекты, повышающие лояльность клиентов к компании и их индекс счастья от взаимодействия с нашими продуктами и сервисами. Далее следуют проекты, которые могут быть финансово выгодны компании.

— В целом чего компания требует больше: повышения выручки или сокращения издержек?

На первом плане для нас – удовлетворенность клиентов и повышение времени их жизни в компании, а потом уже сокращение издержек и повышение выручки.

— Пытаетесь ли оценивать экономический эффект проектов?

Конечно. Сейчас мы активно занимаемся оценкой всех сделанных проектов и подведением итогов 2022 года.

— Что вы считаете своим главным достижением как главы офиса данных?

Формирование сильной и сплоченной команды, внедрение в компании новых подходов и культуры работы с данными. Нормой стало принятие решений на основе анализа больших данных.

— Каковы ближайшие планы дата-офиса?

Дальнейшее усиление команды, повышение общего уровня компетенций сотрудников дата-офиса. Готовимся стартовать два новых проекта в области искусственного интеллекта. Планируем перейти от пилотных проектов в области предиктивной аналитики к повсеместному ее внедрению в работе компании, а также заняться структурированием инсайтов, в том числе создать их базу.

«Домклик» от Сбера построил BI-систему на базе бесплатных инструментов. Целью проекта стало не только импортозамещение зарубежных систем, но и разработка удобного и простого сервиса для визуализации данных, не требующего специальных знаний, кроме владения SQL и принципами работы сводных таблиц. О реализации проекта рассказывает Дмитрий Леонов, руководитель направления по исследованию данных и номинант на премию Data Award.

— В чем заключалась проблема? Зачем потребовалось создавать собственную BI-систему?

У нас в компании на еженедельной основе готовится большое количество аналитических материалов, из которых формируется большая презентация для совещания топ-менеджеров. Помимо этого, конкретным командам необходима регулярная аналитика для внутренних совещаний и отслеживания эффективности работы бизнеса. Сотрудникам в регионах необходимы различные детальные выгрузки и отчеты для разбора кейсов и анализа отклонений в работе.

Все эти потребности закрывались с большим количеством ручного труда аналитиков, отчетность была очень разрозненна по своему формату, структуре и размещалась в разных местах. Не было должного контроля качества данных и «единого источника правды». У разных команд были разные подходы к построению отчетов и разные инструменты для этого.

Кроме этого, было много дублирующихся показателей с разной логикой расчета. Это происходило как раз из-за разрозненности в подходах к отчетности и отсутствия единых правил.

— Какой подход к решению был выбран?

Было принято решение о создании единой системы, в которой будет храниться вся официальная отчетность управления с централизацией работы аналитиков. Подход подразумевал разработку единых правил и требований к размещаемым отчетам, а также обеспечение контроля качества данных и поддержание их максимальной актуальности.

— Какие требования предъявлялись к будущему решению?

Необходимо было создать простой инструмент, чтобы сократить время на создание новых аналитических материалов, а также обеспечить новым сотрудникам быстрое погружение в процесс. С точки зрения пользователей должна была обеспечиваться максимальная актуальность данных и поддержка работы на мобильных устройствах. Для сотрудников в регионах требовался портал для возможности скачивания отчетов в виде файлов.

Нужно было обеспечить разграничение доступа к конфиденциальной информации вроде финансовых показателей и данным HR. Также было важно создать решение с постоянной ИТ-поддержкой, соблюдением требований кибербезопасности и мониторингом качества данных.

— На каких технологиях построено решение?

Бэкенд реализован на Python и PostgreSQL, а также Clickhouse. В качестве фронтенда используется React.

— Как учитывали потребности пользователей? Что им вообще нужно?

Первоначально требования шли от текущей отчетности и пожеланий топ-менеджеров. Для них важно иметь доступ к аналитике круглосуточно, с мобильного телефона или компьютера, видеть достоверные проверенные данные, быстрые внесения изменений аналитиками.

После реализации MVP проводились регулярные встречи с пользователями и выявлялись более специфичные требования. Вдобавок, в процессе работы с инструментом аналитиками, сформировался большой пласт работ по более тонкой настройке визуализации.

— Что получилось удачнее всего, а над чем еще предстоит работать?

Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Достаточно легко и безболезненно прошел переход на нашу систему с всего множества платформ, которые использовались ранее.

Предстоит много работ по доведению инструмента до полноценной BI-системы – то есть добавление большего количества визуализаций, вариантов расположения виджетов, более точной настройки отображения, дополнительных сложных вычислений и формул.

Остается большое количество технических задач и задач по улучшению пользовательского опыта.

— Каких результатов удалось достичь?

Удалось централизовать аналитику и наладить процесс построения отчетности. У нас получилось сформировать простые и понятные правила по построению дашбордов и данным, на основе которых они строятся, а также привести отчетность к единому формату как данных, так и визуализации. Очевидно, удалось популяризовать работу с отчетностью, ведь около двух третей всех наших пользователей теперь посещают систему каждый рабочий день.

Важно отметить метрики по качеству и скорости работы дашбордов. Среднее время загрузки данных в виджетах – менее 1 секунды. Этого удалось достичь за счет лимитов на скорость выполнения скриптов и на количество данных, на которых строится визуализация. Для более детальных отчетов и выгрузок у нас используются отчеты в виде файлов, которые можно связать с виджетами.

— Насколько сильно снизились требования к аналитикам? И как вообще более простой сервис отразился на процессах?

При найме новых аналитиков перестало требоваться знание BI-инструментов вроде Tableau, PowerBI, QlikView. Основным требуемым навыком выступает SQL и аналитическое мышление.

Простой процесс создания дашбордов значительно снизил время их разработки. Уменьшилось дублирование одних и тех же показателей от разных аналитиков. Как следствие, повысилось доверие к отчетности.

— Пытались ли оценить финансовый результат?

Проводился сравнительный анализ расходов на покупки лицензий зарубежных популярных BI-инструментов (до ухода этих компаний из России). Получались достаточно крупные суммы с учетом большого количества пользователей и аналитиков.

Создание отдельной команды под разработку собственного решения получилось более выгодно экономически.

— В чем роль проекта для компании и для рынка в целом?

В текущих реалиях основная роль – конечно же, импортозамещение зарубежных продуктов, а также обеспечение бесперебойной работы с отчетностью в рамках компании.

Ожидается распространение системы на другие подразделения – такой шаг поможет коллегам перенять наш опыт и лучшие практики, а не тратить ресурсы на создание собственной системы аналитики в условиях практически отсутствия альтернатив на рынке. Конечно, можно найти решения open source, но требуется много времени и ресурсов чтобы развернуть и настроить их под себя. А для специфических задач наверняка потребуются доработки такой системы.

— Каковы планы по развитию решения?

Планируем превратить решение в полноценный BI-инструмент с поддержкой всех основных возможностей по визуализации и анализу данных. Важно совершенствовать интерфейс, чтобы процесс работы аналитиков стал максимально простым и интуитивно понятным.

А для распространения на другие подразделения планируем создать коробочную версию. Это подразумевает довольно большую техническую работу и анализ потребностей коллег. Возможно, у них есть очень специфичные задачи, которые у нас не решались, и для этого потребуется расширить функционал.

Использовать data-driven подход, быть в курсе изменений в бизнесе и операционной работе и сразу реагировать на них, корректируя прогнозы и адаптируя решения, – очень важно для команды, которая развивает HiFi-стриминг Звук. Аналитики компании для решения этой задачи используют бот в Telegram, с помощью которого они уменьшают время реакции на инциденты и высвобождают ресурсы на подготовку отчетов. О реализации проекта рассказывает Павел Пуряев, руководитель отдела аналитики в Звуке и номинант на премию Data Award.

— Почему анализ данных – это важно для Звука?

Сегодня люди живут в мире контента. И мы – часть этого мира, наш сервис относится к развлекательной индустрии. Мы преображаем жизнь, а не диктуем ее правила. Наша миссия – обогатить жизнь человека, сделать ее интереснее и эмоциональнее. Для этого нам необходимо постоянно анализировать поведение пользователей в сервисе и принимать решения по развитию и изменению на основе этих данных.

Анализ данных – это достаточно сложный процесс, как в части необходимой инфраструктуры, так и в части экспертизы у сотрудников, непосредственно работающих с данными. Мы собрали сильную команду аналитики, которая решает все необходимые задачи, от технических – создания витрин, построения ETL-процессов, до аналитических – очистки выбросов, построения и расчета дерева метрик, анализа отклонений, формирования гипотез, поиска точек роста, проведения A/B-тестов.

— Как работа менеджеров с данными была организована ранее? В чем были проблемы, почему не устраивало?

Ранее метрики считались по ad-hoc запросам, а затем передавались заказчику. Часто метрики можно интерпретировать и считать по-разному, и логика расчета ложилась на плечи аналитика. Если в компании несколько аналитиков в разных направлениях, то при таком подходе возникает проблема разных расчетов для одной и той же метрики. И как следствие – разные данные у разных заказчиков и невозможность принятия правильных управленческих решений.

Эту проблему мы решили с помощью единой инфраструктуры для метрик. Так, если метрика когда-то уже была рассчитана, она попадала в инфраструктуру и любой аналитик мог ее переиспользовать в своих дашбордах и отчетах без необходимости придумывать логику самостоятельно. На основе этой инфраструктуры были реализованы разные дашборды для отдельных направлений, и на какое-то время проблемы ушли. Но когда метрик стало ощутимо много, менеджеру приходилось просматривать сразу несколько дашбордов, чтобы получить взгляд сверху по ситуации или отдельному продукту, а это занимает очень много времени. Аналитики настроили автоматические отправки на почту, но проблема оставалась: большое количество отчетов просто не успевали просмотреть.

Мы ценим время своих коллег, поэтому обратили внимание на проблему перегрузки отчетами и реализовали возможность для каждого конкретного менеджера выбрать и отслеживать именно то, что ему нужно. Получился фактически персональный конструктор отчетов.

— Что «под капотом» аналитической инфраструктуры?

Инфраструктура состоит из двух систем: системы автоматического расчета метрик и системы доступа к данным.

Система по автоматическому расчету представляет собой выстроенный ETL-процесс, написанный на Python и автоматизированный с помощью Airflow. Мы создали шаблон, который ежедневно последовательно запускается для каждой метрики, считает ее в различных разрезах и записывает в витрину. Логика расчета каждой метрики записана отдельным SQL-скриптом, и с помощью параметров шаблон поэтапно подставляет необходимые разрезы, выполняет расчет и записывает результаты в витрину. Документирование метрик (название, описание, логика) происходит в Apache DataHub, что позволяет быстро найти нужную метрику и понять логику ее расчета. Аналогичным образом считаются доверительные интервалы для каждой метрики и каждого разреза. Доверительные интервалы помогают увидеть статистически значимые изменения в метриках и вовремя среагировать на них.

Для прогнозирования мы используем библиотеку Prophet с подобранными для каждой метрики коэффициентами. Прогноз пересчитывается раз в неделю и учитывает исторические данные, маркетинговые кампании, праздники, факторы сезонности и т.д. Эта система позволяет нам в автоматическом режиме считать все метрики, нужные разрезы, доверительные интервалы, статистически значимые изменения, а также строить прогнозы.

Что касается системы доступа к данным, то для составления дашбордов мы используем FineBI. Однако это решение требует лицензий для просмотра отчетов и доступно только из внутренней сети. Менеджмент попросил о возможности быстро (без помощи аналитиков) смотреть значения конкретной метрики с динамикой в нужном разрезе. В итоге мы пришли к простому и удобному решению: Telegram-боту, в котором можно подписаться на метрики в нужных разрезах (тогда он будет ежедневно в 10 утра присылать сводку по метрикам, на которые пользователь подписан) или просто разово запросить информацию.

— Как выбирали платформы для реализации проекта?

Мы искали простой инструмент, который не требует долгого обучения, дополнительных лицензий и будет доступен каждому члену команды (с поддержкой ролевой модели). Все это мы смогли реализовать в функционале бота в Telegram.

Нам нужна была не просто отправка отчетов, а еще и их персонализация. В Telegram-ботах уже реализован удобный интерфейс для взаимодействия с пользователями. Пользоваться ботом быстрее, чем открывать табличные отчеты или дашборды и ежедневно отслеживать там показатели, кроме того, есть возможность настроить выгрузку под себя.

— Как выглядит взаимодействие с ботом?

Взаимодействие построено так: пользователь выбирает метрику, настраивает нужные разрезы, нажимает опцию «подписаться» или «разовый просмотр».

Бот в ответ отправляет сводку по выбранной метрике: динамику за последние три месяца по дням с детализацией (доверительный интервал, обозначения статистически значимых изменений и прогноз на 30 дней вперед). Дополнительно отправляется информация в виде абсолютных значений за текущий день и сравнение с предыдущим значением, значением неделю назад и значением предыдущего месяца в аналогичный день. Если в текущий день есть статистически значимое изменение, это также будет отражено в сообщении.

Отдельная полезная функция бота – это ежедневный отчет по статистически значимым изменениям, так называемый «алертинг». Он показывает изменения в каждом разрезе и отмечает метрики с значимым падением или ростом. Данный функционал очень полезен аналитикам и продакт-менеджерам для быстрого реагирования.

— Приведите примеры того, как новые инструменты повлияли на процессы принятия решений, принеся очевидную пользу.

Во-первых, существенно сократилось количество типовых запросов в аналитику. Это означает уменьшение повторяющихся действий и прямое высвобождение ресурсов аналитиков. Во-вторых, менеджеры начали сами следить за метриками и приходить к командам с вопросами, если показатель резко меняется. Это ускорение реагирования, что ценится любым бизнесом. Наконец, дата-аналитики быстрее отлавливают проблемы в данных и устраняют проблемы сразу во всех отчетах. Это повышение качества данных их надежности.

К примеру, менеджер отдела роста ежедневно отслеживает показатели, в случае их критического изменения ставит задачи на исследование, принимает оперативные решения, чтобы повлиять на ситуацию. Другой пример: менеджер саппорта отслеживает значение месячной аудитории и соотносит его с количеством обращений, чтобы выявлять наличие нехарактерного количества запросов. На основе прогноза он также может корректировать количество необходимых дежурных специалистов в смене.

— Каких результатов достигли?

На текущий момент в аналитической инфраструктуре ежедневно рассчитываются показатели по более чем 170 метрикам. Кроме того, по каждой из них рассчитываются доверительные интервалы для формирования уведомлений по резким аномалиям. Сейчас мы расширяем возможности инфраструктуры путем добавления прогноза в дополнение к фактическим данным. По 10 метрикам такие прогнозные данные уже готовы.

К инфраструктуре подключен функционал, который позволяет подписаться на отчет по конкретной метрике в конкретном срезе. Благодаря этому можно получать полную актуальную информацию по любой метрике без необходимости постоянно запрашивать ее у ответственных и отслеживать вручную. Время реакции на аномальные изменения метрик сократилось с нескольких дней до нескольких часов.

Около 10% сотрудников Звука уже используют наш инструмент в своей ежедневной работе на постоянной основе. Основываясь на данных отчетов, которые отправляет бот, мы принимаем бизнес-решения.

— Пытаетесь ли оценить финансовые результаты? Чем можете похвастаться?

В этом проекте мы не фокусировались на изменении финансовых показателей. Нашей целью было и остается снижение нагрузки на отдел аналитики, оптимизация процессов, развитие data-driven культуры в Звуке и ускорение реакции, а значит – решение проблемных кейсов, связанных с данными.

— Почему пока только 10% сотрудников используют инструмент на постоянной основе? Кто в итоге стал первыми пользователями и почему?

Эти 10% – те менеджеры, которым важно отслеживать метрики. Фактически это люди, принимающие операционные бизнес-решения, исходя из полученных данных. Объективно не на всех уровнях и не во всех отделах есть потребность в этом. Для нас важно, что именно для этой заинтересованной группы мы смогли увеличить вовлеченность, и тем самым двигаемся в сторону data-driven подхода.

— Что делаете, чтобы повысить процент пользователей? И вообще, каковы целевые показатели использования?

Мы рассказываем про преимущества использования бота на внутренних митапах и во внутренних рассылках, а также во время онбординга сотрудников. Моя миссия как руководителя подразделения аналитики – выстроить полноценный data-driven подход на всех уровнях компании, чтобы любое, даже самое незначительное, решение проходило через призму данных. На 2023 год мы ставим себе цель 40% сотрудников: в дополнение к текущим пользователям, это будут все руководители направлений.

— Что дальше? В каком направлении будет развиваться решение?

Текущего функционала уже достаточно для полноценной работы и решения проблемы на первом этапе, но мы планируем доводить его до совершенства, а также учитывать возникающие потребности пользователей. Для этого мы постоянно проводим опросы.

Первое направление развития – увеличение информативности отчетов. Будем улучшать структуру и увеличивать ценность отправляемого отчета. Сюда будет входить повышение удобства обработки результатов – например, добавление описаний к метрикам или разделение их на группы.

Второе важное направление – добавление нового функционала. Например, у нас появятся новые отчеты (рассматривается вариант отправки PDF-отчета из дашборда) или возможность объединять несколько показателей на один график.

«Радар ммс» реализует проект, заключающийся в создании системы мониторинга состояния средств навигационного оборудования – береговых навигационных знаков и плавучих предостерегательных знаков в акватории реки Енисей, являющейся частью акватории Северного морского пути. О значении этого проекта и роли IoT-платформы SmartUnity 4.0, на которой он реализуется, рассказал Илья Бузинов, директор НПК МАРС АО «НПП «Радар ммс» и номинант на премию Data Award.

— Какие задачи призвана решить платформа SmartUnity в рамках мониторинга состояния средств навигационного оборудования?

Заказчиком этого проекта выступило ФГУП «Гидрографическое предприятие», входящее в состав Росатома. Система мониторинга предназначена для решения множества задач. Среди них – сбор данных посредством спутникового канала связи с сети плавучих и береговых средств навигационного оборудования, расположенных в устье реки Енисей. Кроме того, важен оперативно-диспетчерский контроль и мониторинг текущего состояния средств навигационного оборудования, по таким параметрам, как GPS-координаты знаков, величина и направление их отклонения, контроль состояния и режима работы светооптических аппаратов, контроль уровня заряда и состояния аккумуляторных батарей и т. д. Наконец, требуется предоставление аналитических данных и данных по техническому обслуживанию и ремонту, а также интеграция с серверами спутниковой системы передачи данных Iridium для получения данных от навигационного оборудования и с вышестоящей Единой платформой цифровых сервисов Северного морского пути (ЕПЦС СМП).

— Почему это важно?

Система мониторинга состояния средств навигационного оборудования в акватории устья реки Енисей является частью цифровой экосистемы Северного морского пути. Нарушение режимов работы навигационного оборудования может привести к инцидентам на маршрутах следования судов, в том числе со значительным ущербом – как для субъектов навигации, так и окружающей среде. Кроме того, отсутствие систем подвижной связи на значительных территориях акватории реки Енисей не позволяет установить типовые средства мониторинга на базе GSM технологий, в связи с чем стала актуальной необходимость применения систем спутниковой связи.

— В чем заключается суть проекта?

Оснащение акватории реки Енисей средствами навигационного оборудования с поддержкой спутниковых каналов связи и созданная система мониторинга на базе IoT-платформы SmartUnity 4.0 обеспечивают в совокупности повышение уровня безопасности судоходства за счет автоматизации процесса мониторинга средств навигационного оборудования.

Стоит отметить, что «Радар ммс» в рамках реализации проекта выполнил целый комплекс работ. Береговые навигационные знаки (БНЗ) и плавучие предостерегательные знаки (ППЗ) были оснащены оборудованием автоматизации и связи. На площадке заказчика выполнены работы по настройке серверного оборудования, на котором была установлена и настроена платформа SmartUnity 4.0. Было поставлено мобильное рабочее место и соответствующее ПО для организации оперативного мониторинга работы навигационного оборудования для судоводителей, проведены пуско-наладочные работы системы мониторинга, а также опытная эксплуатация системы и ее ввод в промышленную эксплуатацию.

Сбор данных с ППЗ осуществлялся посредством проприетарной технологии связи на основе mesh-сети: каждый БНЗ является координатором mesh-сети и шлюзом, передающим данные от датчиков с БНЗ и ППЗ на сервер посредством спутникового канала связи. Mesh-сеть работает на основе оборудования связи «Радар ммс» – модемов «Лора», работающих в диапазоне частот 902-928 МГц.

Автоматизация процесса мониторинга позволяет оперативно реагировать на возникающие неисправности в работе средств навигационного оборудования, связанные с выходом их строя светофорной сигнализации береговых и плавучих навигационных знаков, повреждения или значительного изменения местоположения навигационных буев в период весеннего ледохода или вследствие столкновения с судами.

Соответствующая информация передается в ЕПЦС СМП, которая в будущем будет предоставлять оперативные сведения о навигационной обстановке судоводителям в рамках Цифровой экосистемы Северного морского пути.

На текущий момент к IoT-платформе SmartUnity подключено 17 БНЗ и 40 ППЗ, в ближайшие два года планируется увеличение количества объектов мониторинга до 300 шт. с охватом всего морского пути (1 тыс. км). В планы входит и добавление дополнительных функций для плавучих предостерегательных знаков – их оснащение датчиками для комплексного мониторинга гидрометеорологических параметров – давления, температуры, влажности, скорости и направления ветра, типа и количество осадков, контроля температуры воды, скорости течения и других параметров, в том числе датчиков экологического мониторинга воды.

Помимо обеспечения контроля и мониторинга средств навигационного оборудования, платформа SmartUnity предоставляет для ФГУП «Гидрографическое предприятие» журнал событий и аварий и средства настройки аварийных событий, контроль состояния каналов связи, средства управления учетными записями пользователей. Также обеспечиваются средства защиты данных от несанкционированного доступа, аналитические данные о состоянии оборудования, модуль отчетов и среда конфигурирования программной платформы.

Поступающая от системы навигационного оборудования (СНО) информация агрегируется в программной платформе, а затем обрабатывается аналитическими средствами платформы SmartUnity с целью формирования оперативной информации о текущем состоянии оборудования, а также формирования предупреждения о вероятных возникновениях аварийных ситуаций на основе характера изменения GPS-координат, частоты возникновения предупредительных сообщений, состояния аккумуляторных батарей и формирования рекомендаций по срокам проведения ремонтных и восстановительных работ.

Внедрение методов аналитической обработки данных критически важно в связи с необходимостью заблаговременного планирования выполняемых работ по обслуживанию СНО в виду их расположения в удаленной труднодоступной местности. Это требует формирования необходимого набора запасных частей и оборудования.

— Какова история создания решения?

«Радар ммс» и Росатом долгое время поддерживают партнерские взаимоотношения и реализовывают различные совместные проекты. Кроме того, мы имеем большой опыт в разработке гидрометеорологического оборудования и являемся одним из крупнейших производителей метеостанций, гидрологического оборудования, гидрометеорологических буев, а также датчиков и средств автоматизации для них. Именно наши комплексные решения позволили выиграть конкурс на создание системы мониторинга состояния средств навигационного оборудования в акватории реки Енисей.

Стоит отметить, что основная часть проекта была выполнена в кратчайшие сроки – всего за четыре месяца мы подготовили и выполнили монтаж на буи и береговые знаки необходимого оборудования, средств автоматизации и связи и развернули систему их мониторинга. Выполнение проекта в столь сжатые сроки во многом стало возможным за счет применения IoT-платформы SmartUnity – используемые в ней средства позволяют быстро сконфигурировать требуемое решение для создаваемой автоматизированной системы.

— На каких технологиях построена платформа?

В основе IoT-платформы лежит микросервисная архитектура, обеспечивающая возможность масштабирования и увеличения функциональных возможностей платформы без ущерба производительности. В нашем программном продукте мы ориентируемся на максимальное использование решений open source, которые в дальнейшем развиваем и совершенствуем. Здесь все очевидно: необходимо максимально использовать бесплатные решения с подходящими лицензиями, которые позволяют снизить затраты на создание программной платформы и предложить клиентам максимально выгодное по стоимости решение. Вдобавок, данный подход позволил нам без особых трудностей внести IoT-платформу SmartUnity 4.0 в реестр российского ПО.

Платформа предназначена для сбора и обработки большого количества разнородных данных, отличающихся типом и размером, в связи с чем в ней используется нереляционная (NoSQL) база данных MongoDB, обеспечивающая быструю обработку больших массивов данных, возможности горизонтального масштабирования решений по автоматизации. Для обеспечения производительности и кроссплатформенности наших решений и снижения требований к аппаратному обеспечению, SmartUnity разработана в кроссплатформенной среде разработки Node.js с использованием различных фреймворков. Использование Node.js позволило сделать платформу многопоточной с параллельной работой приложений в ее составе. Микросервисы «упакованы» в Docker-контейнеры, что обеспечивает кроссплатформенность, быструю и простую разворачиваемость программного обеспечения, возможность его размещения на локальном или облачном сервере, а также создавать гибридное облако.

SmartUnity имеет клиент-серверную архитектуру с широким использованием веб-технологий. Все вычисления производятся на серверной стороне. Это также обеспечивает кроссплатформенность. Мы не обошли стороной и тенденцию повсеместного использования носимых устройств – смартфонов и планшетов, различных мобильных и онлайн-сервисов. В связи с этим активно применяем технологию Progressive Web App, с помощью которой предоставляем доступ с помощью смартфонов и планшетов. Использование технологии PWA значительно сокращает время на разработку мобильных сервисов и приложений – веб-интерфейс программного обеспечения просто трансформируется в мобильное приложение. Такой подход избавляет не только от необходимости разработки мобильных приложений, но и от необходимости постоянного обновления под новые версии операционных систем iOS и Android.

— Каковы фишки платформы? Чем можно гордиться?

Главное – гибкое сочетание инструментов no-code и low-code, обеспечивающее значительное сокращение временных затрат на создание решений по автоматизации. Для работы с платформой достаточно иметь навыки уровня системного администратора, чтобы начать создавать собственное решение – этому способствует наличие среды администрирования и конфигурирования платформы. Кроме того, продукт обладает всеми компонентами и возможностями, которые определяют его как платформу класса IoT: средствами подключения и нормализации данных, средствами управления устройствами, нереляционной базой данных, средствами обработки и управления действиями, аналитическими средствами, средствами визуализации данных и др. Фактически он стал интеграционной платформой для создания систем управления разнородными технологическими объектами и устройствами.

— А над чем еще предстоит работать?

Мы постоянно работаем над повышением производительности и быстродействия, добавляем новый функционал для отдельных микросервисов, постоянно расширяем список штатно поддерживаемых протоколов связи. Стремимся обеспечить максимальное использование low-code инструментов там, где это возможно, то есть уменьшить объем работ с программным кодом для пользователей. Сейчас мы активно работаем над развитием инструментов аналитики, искусственного интеллекта и обработки действительно больших данных.

— Каких результатов уже удалось достичь?

На сегодняшний день нами реализовано более 500 различных проектов на основе нашего платформенного программного обеспечения и онлайн-сервисов. Проект для Северного морского пути для нас во многом является знаковым – это одно из первых наших крупных решений в области интеллектуальных транспортных систем для водного транспорта.

Помимо этого, в последние годы мы активно работаем по направлению «Умный город» и «Цифровое ЖКХ» – создали систему мониторинга индивидуальных тепловых пунктов в городе Новокуйбышевск Самарской области в рамках реализации энергосервисных контрактов, реализовали ряд проектов по умному освещению, в том числе международных. Активно внедряем решения в области метеомониторинга, продолжаем развивать решения в области комплексной автоматизации зданий, сооружений и жилых комплексов. И это, не учитывая большое количество специализированных проектов с использованием нашей программной платформы.

— Чего можно ожидать в дальнейшем?

Мы активно работаем по направлениям «Безопасный город», «Интеллектуальные транспортные системы», умная энергетика и др. Прорабатываем проекты, подразумевающие сбор и обработку больших данных, в которых требуются мощные аналитические инструменты.

В рамках проектных направлений мы стремимся предложить не просто решение для достижения какой-то одной задачи, а платформенный программный продукт, который поможет решить комплекс взаимоувязанных задач, обеспечит возможности наращивания функционала без необходимости применения большого количества различных программных продуктов и позволит отказаться от нагромождения большого количество отдельных систем и сервисов.

— Удается ли зарабатывать на этом решении?

Потребитель ищет не просто поставщика программного обеспечения, а компанию, готовую предложить комплексное решение, включающее оборудование, передовые программные решения, услуги и сервис. Поэтому для предложения конкурентоспособных решений требуются затраты на постоянную модернизацию оборудования и программного обеспечения, добавление новых функций и сложных инструментов, особенно в части искусственного интеллекта, аналитики больших данных, нейросетевых технологий. Мы успешно справляемся с вызовами рынка.

— Какой вы видите свою роль в развитии рынка?

В 2022 году с российского рынка ушли основные поставщики платформенных решений в области Интернета вещей и Промышленного интернета – Microsoft Azure, Huawei, IBM Watson и другие. На отечественном рынке осталось лишь несколько компаний, предлагающих платформенные программные продукты, удовлетворяющие критериям интернета вещей. В связи с этим мы ожидаем увеличение потребности и активное развитие рынков IoT и IIoT. Сложившаяся ситуация открывает для нас новые возможности. Это затронет практически все отрасли – промышленность, умные города, энергетику, медицину, автомобилестроение и другие.

Федеральное казначейство запустило проект «Быстрые цифровые платежи в сфере госзакупок» на платформе ГИС ЕИС ЗАКУПКИ, позволивший сократить срок оплаты по контрактам с 30 до 5 дней. При этом время на формирование одного платежного документа сократилось с 20 минут до 20 секунд, а число ошибок, ведущих к отказам в оплате, радикально снизилось. О реализации проекта рассказывает Анна Катамадзе, заместитель руководителя Федерального казначейства и номинант на премию Data Award.

— Какова была ситуация в области оплаты госконтрактов? В чем заключалась проблема?

Ранее согласно положениям Федерального закона от 05.04.2013 № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд» срок оплаты по госконтрактам составлял 30 дней со дня подписания заказчиком документа о приемке. За это время закупочные и бюджетные документы по государственным и муниципальным контрактам проходили большое количество визуальных проверок. Такой длительный срок оплаты негативно сказывался на экономике предприятий – поставщиков, поскольку они получали средства за исполненные обязательства с разрывом в месяц.

Требовалось радикальное сокращение сроков оплаты по госконтрактам. Важно отметить, что меры по сокращению сроков оплаты по госконтрактам вошли в План первоочередных действий по обеспечению развития российской экономики в условиях внешнего санкционного давления.

— Что требовалось для решения проблемы?

До сих пор платежные документы формировались во внешних информационных системах в отрыве от документов-оснований, таких как государственный контракт, документ о приемке. Неавтоматизированное формирование приводило к значительным временным затратам со стороны заказчика, а также к ошибкам, обусловленным, в том числе, человеческим фактором. В свою очередь, это вело к значительному количеству отказов в принятии платежных документов к исполнению со стороны территориальных органов Федерального казначейства – их доля составляла более 30% от общего количества документов.

Значительно сократить сроки оплаты позволил цифровой структурированный акт приемки, обязательное применение которого началось с 2022 года. На данный момент заказчиками уже подписано цифровых актов на сумму более 5 трлн руб., в том числе и по строительным контрактам. Подписание цифрового акта осуществляется подрядчиком и заказчиком непосредственно в ГИС ЕИС ЗАКУПКИ, реализован сервис интеграции с системами бухгалтерского учета, который позволяет сторонам в кратчайшие сроки отразить факт поставки и приемки в бухгалтерском учете. Для строительной отрасли также реализован сервис интеграции ГИС ЕИС ЗАКУПКИ со сметными программами, позволивший обеспечить цифровую связку сметы контракта и цифрового акта, а по товарам, подлежащим обязательной маркировке, на основании подписанного в ГИС ЕИС ЗАКУПКИ цифрового акта осуществляется учет сведений в системе «Честный ЗНАК».

Работа над запуском проекта предусматривала большое количество технологических и правовых решений, для реализации проекта были внесены изменения в закон № 44-ФЗ, два постановления Правительства РФ, а также в шесть ведомственных актов Минфина и Федерального казначейства.

— Какой подход в итоге был выбран?

«Быстрые цифровые платежи в сфере госзакупок» – это комплекс мероприятий, предусматривающий перевод заказчиков всех уровней на формирование платежных документов в ГИС ЕИС ЗАКУПКИ, а также внедрение новых подходов к осуществлению проверок бюджетных и закупочных документов территориальными органами Федерального казначейства. В рамках реализации проекта был проведен анализ текущих закупочных и бюджетных бизнес-процессов, определены пути их оптимизации с учетом функциональных возможностей системы.

— Какие задачи были поставлены перед проектом?

В целях сокращения сроков оплаты были определены три ключевые задачи. Во-первых, это оптимизация процесса осуществления проверок бюджетных и закупочных документов. Во-вторых, автоматизация процесса формирования платежных документов на базе ранее проверенных и размещенных в ГИС ЕИС ЗАКУПКИ сведений. Наконец, автоматизация процесса проведения платежа Федеральным казначейством. Каждая из них является важным звеном для комплексной поддержки бизнеса и развития российской экономики.

— Какими силами и в какие сроки реализован проект?

Учитывая, что сроки внедрения проекта были максимально сжатыми, параллельно велась работа над внесением изменений в нормативные правовые акты и доработками информационных систем, оператором которых является Федеральное казначейство.

Внедрение функциональных возможностей проводилось поэтапно с апреля 2022 года, были проведены три волны пилотирования, в которых приняли участие более 1 тыс. федеральных заказчиков. Пилотирование сопровождалось масштабной информационной поддержкой со стороны Федерального казначейства. Специалистами были проведены многочисленные онлайн-конференции, подготовлены методические и информационные материалы. К ноябрю к функциональным возможностям ГИС ЕИС ЗАКУПКИ были подключены все федеральные заказчики, которыми к концу 2022 года было сформировано более 200 тыс. платежных документов на общую сумму более 150 млрд руб.

Системный подход позволил запустить с января 2023 года «Быстрые платежи» как обязанность для всех федеральных заказчиков.

— Что в ходе проекта было самым сложным?

Главным вызовом в ходе реализации проекта стал поиск оптимального решения, которое сможет учесть особенности отраслевых законодательств – строительство, закупка лекарственных препаратов, жилье – и при этом позволит реализовать поставленные перед проектом задачи, удовлетворив при этом потребности всех участников процесса.

— В чем особенности решения?

ГИС ЕИС ЗАКУПКИ – цифровая экосистема в сфере госзакупок, содержащая весь массив данных о заключенных контрактах и их исполнении в структурированном виде. Реализация проекта «Быстрые платежи в сфере госзакупок» стала возможной исключительно благодаря ранее внедренным цифровым решениям, таким как формирование цифрового акта приемки, сведений о бюджетных и денежных обязательствах, реестр контрактов и т. д.

— Какие технологии использовались при его создании?

Основу системы составляют решения с открытым кодом, сама система написана на языке программирования Java. В качестве средств мониторинга используются Grafana, Victoria Metrics, Kibana, управление кодом осуществляется с помощью Git, Nexus, Jenkins, Helm. За сервер приложений отвечает WildFly, а за среду контейнеризации – Кubernetes.

В настоящее время осуществляется миграция на систему управления базами данных PostgreSQL. Операционная система – CentOS 7.7, в ближайшее время планируется переход на Red OS.

— Каких результатов удалось достичь? А к чему еще можно стремиться?

С момента внедрения проекта федеральными заказчиками сформировано более 600 тыс. платежных документов на общую сумму более 550 млрд руб. Время на формирование одного платежного документа сократилось с 20 минут до 20 секунд – экономия трудозатрат очевидна. При этом количество отказов в принятии к исполнению платежных документов со стороны территориальных органов Федерального казначейства существенно снизилось и составляет менее 1% от общего количества направленных платежных документов. Срок оплаты по контрактам сократился с 30 до 5 дней, во многом за счет того, что при проверке бюджетных и закупочных документов более 50 визуальных проверок переведены в автоматизированный режим.

Результаты ощутимые, но мы не собираемся на этом останавливаться. В 2023 году мы проводим поэтапное подключение к указанным функциональным возможностям заказчиков регионального и муниципального уровня, лицевые счета которых обслуживаются в Федеральном казначействе. Для них формирование платежных документов в ГИС ЕИС ЗАКУПКИ станет обязанностью с 1 января 2024 года.

С октября 2023 года в ГИС ЕИС ЗАКУПКИ для заказчиков как право будет внедрен цифровой структурированный контракт, что позволит существенно автоматизировать процессы осуществления проверок, проводимых территориальными органами Федерального казначейства, дополнительно сократить срок оплаты и исключить вероятность отказов при проведении платежа. Как результат около 250 тыс. заказчиков смогут осуществлять быстрые платежи по госконтрактам, а более 1 млн поставщиков, участвующих в госзакупках, смогут получать оплату по контрактам день в день.

— За счет чего достигнуто автоматическое формирование реквизитов платежа?

Распоряжения о совершении казначейского платежа формируются на основании государственных контрактов, документов о приемке, а также сведений о бюджетных и денежных обязательствах. Учитывая, что все указанные документы содержатся в ГИС ЕИС ЗАКУПКИ в структурированном цифровом виде и размещаются в системе только после проверки со стороны территориальных органов Федерального казначейства, это позволяет полностью автоматизировать процесс формирования распоряжения и обеспечить достоверность сведений.

— В чем значение проекта для рынка?

«Быстрые платежи в сфере госзакупок» дают существенное ускорение и упрощение процесса проведения платежа по государственным контрактам. Для государственного заказчика это сокращение трудозатрат, экономия до 10-15 млрд руб. ежегодно. Для поставщика это быстрый доступ к бюджетным деньгам, снижение зависимости от кредитов. Для государства – весь массив данных для финансовой аналитики госсектора в режиме реального времени.

Это значительная помощь российскому бизнесу, обеспечивающая оперативное поступление бюджетных средств, предусмотренных на закупки товаров, работ, услуг для обеспечения государственных и муниципальных нужд, на счета предприятий – поставщиков. Реализация проекта приведет к снижению экономических рисков для предприятий, участвующих в госзакупках.

— Государство в результате получает массив данных для финансовой аналитики госсектора в режиме реального времени. Что это даст?

Полученный массив данных может быть использован для анализа актуального состояния экономики, изучения потребностей заказчиков и возможностей поставщиков. Также информация о сроках и объемах оплаты по госконтрактам позволит более точно прогнозировать расходы получателей бюджетных средств, оценивать эффективность изменений, внесенных в нормативные правовые акты, и в последствии стать базой для их корректировки и определения вектора развития экономической политики России и новых мер поддержки бизнеса.

— Учитывая сегодняшние обстоятельства, в том числе атаки на российские информационные ресурсы, как обеспечиваете штатную работу системы закупок и платежей?

ГИС ЕИС ЗАКУПКИ – это высоконагруженная информационная система, аттестованная по высшему классу информационной безопасности. Для защиты информации реализованы требования ФСТЭК и ФСБ. Защита от DDoS-атак обеспечена путем фильтрации трафика и георезвирования системы, также к системе запрещен доступ из недружественных стран.

Нами ведется постоянный мониторинг новых угроз в сфере информационной безопасности и незамедлительно предпринимаются меры по недопущению их применения относительно ГИС ЕИС ЗАКУПКИ.

— Куда будет развиваться решение? Основой для каких новых сервисов оно может стать?

В настоящее время прорабатывается возможность использования опыта внедрения «Быстрых платежей в сфере госзакупок» на иные платежи, проводимые Федеральным казначейством, в первую очередь в рамках перечисления целевых субсидий и иных межбюджетных трансфертов.

В 2022 году «Терра Тех» (дочерняя компания холдинга «Российские космические системы» Госкорпорации «Роскосмос») как оператор космических геосервисов вывела на рынок технологию Pixel.AI. Ее суть – в предоставлении потребителям из госсектора, бизнеса, а также частным лицам геоаналитических продуктов как сервиса, в автоматическом режиме и по приемлемой цене. О первых результатах этого проекта рассказывают Михаил Березкин, эксперт по информационной продукции, и Ольга Маликова, ведущий специалист тематической обработки компании «Терра Тех», номинанты на премию Data Award.

— В прошлом году вы представляли проект «Цифровая Земля», ставший фабрикой для обработки и анализа космических снимков с использованием искусственного интеллекта. Нынешний проект – его развитие?

Михаил Березкин: Не совсем. Платформа Pixel.AI основана на других принципах работы с данными. Она частично вдохновлена успехами «Цифровой Земли», но не является преемником. Отличия очень существенные по замыслу, архитектуре, логике работы с пользователем, да и сами конечные продукты отличаются.

В «Цифровой Земле» на каждом этапе формирования информационного продукта предусмотрена возможность ручного вмешательства. Это позволяет решать более сложные и разнообразные задачи, но жертвует производительностью в угоду гибкости. При этом есть клиенты, которые хотят получать понятный, стандартизированный и ожидаемый по качеству результат максимально быстро и экономично. Существует пул достаточно стандартных тематических задач при работе с данными дистанционного зондирования Земли (ДЗЗ), которые можно автоматизировать полностью с помощью искусственного интеллекта. Так и появился Pixel.AI.

— В чем суть созданной платформы, каковы ее задачи?

Ольга Маликова: Мы руководствовались задачей сделать сервис, работать с которым будет удобно и продуктивно как профильным специалистам с опытом работы с космическими данными, так и неподготовленным пользователям. Другие похожие на Pixel.AI системы обработки данных ДЗЗ сделаны именно для специалистов. Наш продукт отличается тем, что предоставляет готовый аналитический материал, где профессиональные знания в области ГИС и ДЗЗ не обязательны.

Если немного заглянуть «под капот», то суть в следующем: заходите на веб-портал как в обычный интернет-магазин, регистрируетесь, выбираете продукт и территорию для анализа, кладете в корзину, оплачиваете онлайн. В течение 15-20 минут нейросеть обработает снимки, и вы получаете готовый аналитический отчет, снимки и тематическую карту. Результаты можно просмотреть на веб портале или скачать к себе. Просто и очень удобно.

— Каких принципов старались придерживаться при ее разработке?

М.Б.: Опыт работы с проектами разных заказчиков позволил нам выделить целый пласт задач, которые повторяются часто, но с разными параметрами. Кроме того, у нас был еще набор критических условий или «принципов», которым наш продукт должен соответствовать: доступная цена, высокая скорость обработки, возможность анализировать любую территорию в любой момент времени. Именно такие требования выставляют сегодня пользователи геопродуктов.

— Кто входит в профильную аудиторию, каким вы видите «типичный портрет» пользователя?

М.Б.: Здесь важно разделить два понятия: «готовые продукты как сервис» и «платформа как сервис». Технология позволяет как получать аналитику с помощью облачного сервиса, так и создавать кастомизированные решения для информационных систем заказчика с помощью гибкого конструктора алгоритмов с доступом по API.

Готовые продукты в формате сервиса предназначены для предприятий финансового и сельскохозяйственного профиля, крупных агропредприятий, экспортеров сельхозпродукции. Объективные геоданные полезны при принятии решений о кредитовании, субсидировании и страховании предприятий, мониторинге залоговых угодий, а также выборе и инвентаризации сельхозугодий, вводе земель в эксплуатацию, оценке земельных участков, осуществлении контроля над используемыми территориями. Если же говорить о самой платформе Pixel.AI, то она имеет значительно более широкое применение и будет интересна интеграторам, которые реализуют проекты с использованием космических данных, но не являются специалистами в этом направлении.

— Какие сервисы уже разработаны?

О.М.: На платформе Pixel.AI рядовым пользователям доступны два продукта: определение использования сельхозземель и определение динамики развития посевов. Первым мы выпустили именно продукт «Использование с/х земель». Он полностью построен на нейросетевом анализе космических снимков. Затем мы разработали продукт «Динамика развития посевов», где совместили нейросети и классические статистические средства обработки снимков.

По нашим оценкам, платформа позволяет на 97% сократить время работы с данными. Задачи подбора снимков, их обработки, определения границ и статуса использования полей, расчет индексов и статистики, формирование и оформление отчета – все делается без участия человека. Для наших клиентов это существенная экономия времени и средств. Сейчас разрабатываются и другие продукты, но в открытом доступе их пока нет.

— Летом было бета-тестирование. В чем оно заключалось, какие результаты дало?

М.Б.: Бесплатное бета-тестирование проходило с июля по октябрь 2022 года. За прошедшие месяцы более 5 тыс. пользователей разместили заказы. Общая площадь проанализированных сельхозугодий составила около 850 млн га. География заказов обширна и охватывает не только традиционные сельскохозяйственные регионы, но и зоны более рискованного земледелия. Тестирование изначально преследовало сразу несколько целей. Помимо традиционных тестов по нагрузкам и производительности приложения, мы проверяли свои гипотезы по позиционированию, тематическому составу продуктов, оформлению и визуализации результатов и т. д. Рынок ДЗЗ довольно узкий, поэтому тестировать такие вещи имеет смысл уже с готовым работающим решением.

В первый день тестирования платформа справилась с наплывом пользователей, но вот их поведение побудило довольно оперативно оптимизировать процесс создания заказа. Пользователи стремились «сэкономить бесплатные гектары», что негативно сказывалось на качестве тестирования. Нам пришлось установить ограничение по минимальной площади.

Кроме того, в ходе тестирования мы определили, какой следующий продукт будем выпускать на платформе. Подавляющее большинство пользователей просили вегетационные индексы, чтобы следить за развитием посевов. Это довольно распространенный продукт, который можно получить без использования нейросетей. Но в нашем случае благодаря уже встроенным моделям по детектированию облачности и теней продукт дает более достоверную информацию.

Одним словом, у нас был целый ряд гипотез, часть из которых подтвердились, другие – нет, но дали инсайты по улучшениям и доработке. Кстати, бесплатно попробовать продукты можно и сейчас, всем желающим доступна любая территория площадью до 3,5 тыс. га.

К слову, о производительности: Pixel.AI построил контуры всех обрабатываемых земель в стране примерно за две недели.

— Кто на данный момент оказался наибольшим «заинтересантом» платформы?

О.М.: Можно сказать, что финансовые организации и агропроизводители наиболее активны. С несколькими компаниями мы прорабатываем варианты персонального доступа, некоторой донастройки и расширения функционала под задачи клиента. Разумеется, государственные органы власти тоже обратили внимание на эту разработку. Один из последних наших проектов, связанных с мониторингом опустынивания с ФНЦ Агроэкологии РАН, тоже реализован с помощью Pixel.AI.

Если говорить о географии заказов пользователей, то это практически вся страна и даже некоторые зарубежные территории. Чаще всего заказывают анализ по российским регионам с более рискованными условиями земледелия. Также высок интерес к территориям, где много неиспользуемых сельхозугодий. Поэтому география простирается от ЦФО до юга Западной Сибири, Урала, Дальнего востока, отдельных участков в Казахстане и даже Египте.

— Приведите несколько показательных примеров использования платформы.

М.Б.: Самый показательный – случай обращения правоохранительных органов Приморского края. Наша платформа способствовала сбору доказательной базы по делу о нецелевом использовании государственной субсидии дальневосточной фирмой. Власти региона выделили несколько миллионов рублей на вовлечение земель в сельхозоборот. Предприниматель отчитался об использовании средств, однако у властей были свидетельства неполного исполнения взятых обязательств. Pixel.AI собрал снимки и рассчитал процент использования на каждый год. Анализ по снимкам подтвердил, что за последние 5 лет поля обрабатывались только частично. Таким образом, результаты работы сервиса помогли доказать махинации с бюджетными деньгами.

— Каких результатов удалось достичь?

О.М.: Наши пользователи на сегодняшний день суммарно обработали в Pixel.AI более 1 млн га (площадь пашни России составляет порядка 100 млн га). Если учесть, что мы запустили сервис в середине лета прошлого года, результат довольно приличный.

Вероятно, многим будет интересна точность распознавания. Для нейросетей такой показатель объективно вывести довольно сложно – все зависит от того, как обучать и как проверять точность. Но у нас уже довольно большая статистика по реальному качеству работы: во всех наших заказах грубые ошибки классификации возникают примерно в 3,5% случаев. Есть еще разные ситуации, где заказывают анализ сельхозпрофиля на городскую застройку или лес. Разумеется, там сервис возвращает ошибки. Поэтому можно говорить, что примерно 95% из потока заказов выполняются корректно. Для нейросетей это очень хороший показатель, но и его еще можно улучшить, над чем мы и работаем.

— Что подсказывает рынок: насколько востребованными могут быть сервисы? О каком объеме рынка идет речь?

М.Б.: В России существуют единицы полноценных современных собственных систем, способных обеспечить потоковую обработку космоснимков в режиме, близком к реальному времени. Спрос на данные и аналитику хоть и медленно, но увеличивается. Коммерческий рынок данных и услуг ДЗЗ сегодня, к сожалению, в нашей стране не такой большой – всего несколько миллиардов рублей. Многие федеральные и региональные органы власти пользуются бесплатными услугами Роскосмоса.

Платформа Pixel.AI – это необходимый шаг для создания современных коммерчески успешных цифровых сервисов, которые смогут составить реальную конкуренцию, в том числе за рубежом. Потенциал развития огромный, главное – это продолжать постепенно насыщать платформу востребованными прикладными продуктами для разной аудитории.

— В каком направлении будет развиваться проект?

О.М.: Несмотря ни на что, мы смотрим на потенциал международной экспансии, но пока сфокусированы на развитии ключевых функций сервиса для российских пользователей. Поскольку ставка сделана на искусственный интеллект, любой кардинально новый продукт требует значительных вложений в обучение алгоритмов. Поэтому сейчас продолжаем рассматривать сельскохозяйственное направление. Кроме того, мы хотели бы предложить пользователям режим подписки, где оплачивается регулярный доступ к аналитике на фиксированную территорию с заданной пользователем периодичностью. Устройство платформы открывает нам широкое пространство для развития продуктов и интеграции. Приглашаем всех заинтересованных к сотрудничеству.

Для любой крупной организации порядок в данных является основой ее успешной работы. В РЖД решили эту проблему, создав импортонезависимую систему управления данными. Она охватила все критически важные данные компании, ускорив и упростив работу с ними, а также повысила доверие сотрудников к аналитической информации. О реализации проекта рассказывает Кирилл Семион, начальник департамента информатизации ОАО «РЖД» и номинант на премию Data Award.

— Какова история проекта создания системы управления данными в РЖД?

Компания имеет развитую организационную структуру – более 700 тыс. работников, ведет хозяйственную деятельность по различным направлениям. В связи с этим она имеет многослойную доменную структуру данных — более 100 доменов данных, которые соотносятся с бизнес-процессами.

Ключевой предпосылкой для реализации проекта явилось отсутствие единого заполненного каталога (глоссария) данных и репозитория форм отчетности, вследствие чего у сотрудников возникали завышенные временные затраты на поиск информации. В том числе большое количество времени уходило на исследование: где и какие данные хранятся, какими документами регламентируются, по каким правилам формируются.

Также отсутствие единого инструмента по ведению реестра отчетов, бизнес-терминов и показателей, приводило к созданию дублирующих отчетов, длительным срокам по предоставлению информации по запросам с уникальным набором показателей, ошибкам в интерпретации данных. В результате в рамках каждого проекта цифровой трансформации возникала необходимость длительного обследования бизнес-процесса – требовалось выяснить, где и каким образом хранятся данные, либо же разрабатывать новый процесс сбора данных.

— Какие задачи решает корпоративная система управления данными?

Целью создания КСУД является выстраивание процессов управления данными с учетом максимального использования существующих решений для развития компетенций работы с данными. Не менее важно сохранение инвестиций, сделанных в создание этих решений.

Фактически КСУД централизует процессы управления данными и унифицирует технологическую инфраструктуру, необходимую для непрерывного функционирования процессов управления данными. Ее создание позволяет решить множество задач. Самая очевидная из них – обеспечить руководство различных уровней, а также сотрудников, достоверной информацией о показателях и их наличии в любых отчетных формах. Кроме того, повышается уровень доверия к данным и аналитике за счет устранения противоречивых, избыточных, непоследовательных и не соответствующих стандартам качества данных. Растет эффективность хранения и работы с данными за счет исключения дублирующих потоков данных и неоправданного хранения одной и той же информации в различных системах, унифицируются процессы работы с данными и аналитической отчетностью. Наконец, именно такой подход дает возможность предоставить отраслевую аналитику в реальном времени с высокой степенью детализации.

— Что представляет собой созданная платформа?

Система охватывает все критически важные данные РЖД, необходимые для статистического, бухгалтерского и управленческого учета, и повышает удобство работы с ними. Она включает в себя несколько ключевых составляющих. Во-первых, это глоссарий бизнес-терминов, в рамках которого пользователи получают единую согласованную бизнес-терминологию, правила формирования показателей и информацию о владельцах данных. Вторая составляющая – репозиторий форм и аналитических справок. Он позволяет пользователю ответить на вопрос, какие методики и распоряжения необходимо использовать при работе с данными. Третий компонент – банк метаданных, показывающий, в какой системе формируются и публикуются данные. Наконец, система построения диаграмм жизненного цикла и потоков данных (lineage) позволяет наглядно отобразить связь показателей с системами-источниками и отчетами.

— На каких решениях построена платформа?

Бизнес-глоссарий, банк метаданных и система построения диаграмм жизненного цикла и потоков данных (lineage) построены на одной из отечественных платформ анализа и управления корпоративными данными, а репозиторий форм и аналитических справок реализован с помощью «Спутник ЕСМ».

— Сколько ресурсов потребовал проект?

Масштаб проекта оценивается в 204 тыс. человеко-часов. В состав команды входят высококвалифицированные сотрудники из нескольких подразделений РЖД, а также специалисты проектной команды подрядчика, привлеченных на постоянное время. В проектную команду вошли аналитики, дизайнеры и архитекторы из двух дочерних организаций (ОЦРВ, ЦС) и внешней – «КОРУС Консалтинг». Помимо этого, более 30 специалистов различных подразделений привлекались к работам над проектом с частичной вовлеченностью – это сотрудники бизнес-подразделений, отчетных подразделений, включая специалистов дорожного уровня, и инфраструктурных команд. Для эффективной реализации проекта было важно создать команду, которая объединит внутреннюю экспертизу и создаст новые компетенции в части управления данными. У проекта есть команда поддержки платформы, которая занимается решением инцидентов и оказанием консультаций по работе платформы. И, конечно, офис CDO, который производит постановку требований на развитие системы управления данными и отвечает за методологическую составляющую, выполняет задачи по внедрению использования системы в производственных процессах, формирует программу обучения.

— Что в ходе проекта было самым сложным?

Самым сложным было провести организационные изменения и плавно встроить разработанные принципы управления данными в текущие бизнес-процессы компании. Различная культура и уровень зрелости в подразделениях требует подготовки дифференцированной программы вовлечения сотрудников. Готовность к изменениям действительно отличается: есть весьма консервативные блоки, а есть очень адаптивные и инициативные.

Если говорить о методологической составляющей, мы начинали построение корпоративной системы управления данных с разработки Глоссария бизнес-терминов. Мы понимали, что это более сложный путь для таких крупных компаний, как РЖД. У нас большое количество бизнес-линий, много бизнес-терминов, они все пересекаются и нужно прийти к одному пониманию. Такой подход позволил нам создать структурированные правила, согласованные с бизнес-процессами, по работе с данными и определить приоритетность и направления работ в части ИТ-ландшафта.

Нельзя не сказать и о технологических сложностях, связанных в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Сложность проекта также обусловлена тем, что он реализован в короткие сроки на импортонезависимом ПО.

— Что удалось лучше всего, чем можно гордиться?

Важна обратная связь от бизнес-пользователей. Это самая лучшая награда и серьезное достижение. Система помогает решить проблемы с трактовкой при работе с показателями и аналитическими формами, сотрудники эффективнее взаимодействуют и быстрее решают задачи, поскольку одинаково понимают одни и те же термины.

— Каких результатов удалось достичь?

Нами описаны метаданные из 40 систем-источников, в том числе 265 форм статистической отчетности. Количество пользователей КСУД составляет более 9 тыс. специалистов, непосредственно работающих с аналитикой.

Работа специалистов – от топ-уровня до линейного уровня – по единой модели данных позволила привести к единообразию сбор данных по показателям. Особенно это важно для смежных подразделений, использующих одноименные показатели из разных систем-источников.

Например, внедрение инструментария по управлению данными позволило пользователям в кратчайшие сроки получать всю необходимую информацию о бизнес-термине: методика и алгоритм расчета, регламент формирования, владелец данных и др. Они могут сопоставлять данный бизнес-термин с конкретной цифрой в отчете, получать информацию о системах-источниках, где данная информация публикуется, а также узнавать в каких еще системах содержится аналогичная информация. Таким образом, инструментарий по управлению данными позволяет привязать используемые в РЖД бизнес-термины, с одной стороны, к физическим источникам данных, то есть системам, где эти термины ведутся, а с другой – к отчетам, в которых они используются. Все это позволяет снизить риск появления терминологической путаницы внутри компании, а также решить задачу по обеспечению специалистов оперативным доступом к информации обо всех критически важных данных.

В целом, комплекс инструментов позволяет разрабатывать аналитические формы с использованием единого методологического подхода, получать информацию о данных смежных подразделений, конструируя востребованные аналитические сервисы, переиспользовать существующие формы в новых BI-системах, сокращая трудозатраты. Снижается трудоемкость множества операций, связанных с работой с данными. И, конечно же, падает риск бизнес-ошибок, вызванных неверным пониманием бизнес-терминов.

— В чем выражается доверие пользователей к данным?

Доверие пользователей к данным выражается в использовании этих выверенных данных, как с точки зрения методологии, так и с точки зрения систем-источников, в повседневной работе при формировании отчетов, справочно-аналитических материалов для руководства ОАО «РЖД».

— Какова роль проекта для бизнеса РЖД?

КСУД РЖД предоставляет возможность взаимодействия с государственными органами и внешними партнерами в части обмена качественными данными, что составляет особую ценность и является стратегически важным для рынка данных транспортной отрасли. Формирование единой отраслевой модели данных работы такого крупного транспортного железнодорожного холдинга позволяет использовать ее более эффективно как внутри для собственных нужд один раз, а не каждый раз изучая, так и вовне. То есть мы получаем многократное использование единожды собранной информации о данных. За счет такой модели данных решения, которые мы делаем для себя, могут быть востребованы на рынке или в государстве, и мы сможем их тиражировать.

Проект КСУД обеспечит создание аналитических сервисов в холдинге РЖД на основе новых технологий контроля инфраструктуры, мониторинга перемещения грузов, моделирования и управления перевозочным процессом и даст возможность развития их в дальнейшем для использования на внешнем контуре компании.

Наконец, хочется отметить, что в периоды турбулентности управление данными – информационный актив компании, который помогает сохранить устойчивость. При этом на одно из первых мест выходит способность быстро меняться и адаптироваться к новым условиям рынка.

— В каком направлении будет развиваться проект?

Корпоративная система управления данными является базисом для моделирования и построения предиктивных моделей. Для построения предиктивных моделей необходимы качественные данные с единой методологией, над чем мы работали и продолжим работать, масштабируя созданные решения и методологические практики на все бизнес-подразделения РЖД.

В части импортозамещения ИТ-ландшафта мы планируем дальше структурировать и наполнять банк метаданных с целью повышения эффективности автоматизации, оптимизации и трансформации текущих процессов ОАО «РЖД».

Мобильный оператор билайн реализовал консолидированное размещение цифрового контента в крупных федеральных торговых сетях. Это дало возможность компании предложить своим клиентам использовать преимущества размещения на рекламных мониторах на площадках шести крупнейших продуктовых ретейлеров через одного оператора цифровой indoor-рекламы. О формировании продукта и его роли рассказывает Илья Цесельчук, руководитель департамента цифровых продуктов для ретейла «ВымпелКом» и номинант на премию Data Award.

- В чем заключалась решаемая проблема? Почему это важно?

До внедрения нашего продукта не существовало единых условий размещения в торговых сетях партнеров билайна. Кроме того, рекламодатель самостоятельно осуществлял планирование рекламной кампании, основываясь на собственном интуитивном представлении о том, где находятся точки концентрации его целевой аудитории, а также самостоятельно оценивал предполагаемую эффективность такого размещения.

- Как пришла идея создания централизованной рекламной площадки на территории крупных ретейлеров?

Мы видели, что размещение рекламных роликов на экранах в торговых точках с высокой проходимостью является очень недооцененным маркетинговым инструментом. Фактически это отличный способ контакта с целевой аудиторией и донесения до нее информации о преимуществах товара или услуги. Помимо отсутствия четкого понимания, где и в какое время могут находиться представители целевой аудитории, существовала и другая проблема: если рекламодатель хотел запустить масштабную кампанию в нескольких торговых сетях, ему приходилось нести значительные издержки на администрирование данного процесса. Нужно было согласовать, заключить и сопровождать большое количество договоров с каждой из сетей, где планировалось размещение. Не у каждой компании были ресурсы и компетенции, которые позволили бы наиболее эффективно спланировать размещение трансляций контента в магазинах. А отчетность по итогам кампаний в различных торговых сетях, как правило, в значительной степени отличалась и затрудняла сопоставление и сравнение результатов. Таким образом, мы понимали, что если нам удастся выступить в роли оператора цифровой indoor-рекламы, объединяющего преимущества размещения в торговых сетях, помочь нашему клиенту эффективно спланировать рекламную кампанию, исходя из имеющегося бюджета, дать возможность оценить конверсию трансляций, это значительно повысит интерес к digital indoor-рекламе со стороны потенциальных рекламодателей.

- Какой подход был выбран для реализации проекта?

Для отличия от конкурентов было решено двигаться в двух направлениях: во-первых, увеличивать количество партнеров – торговых сетей, чтобы предоставлять потенциальным рекламодателям действительно широкие возможности по размещению цифрового контента. Благодаря развитию этого направления сегодня мы агрегируем digital-инвентарь крупнейших торговых сетей и даем нашим клиентам возможность выбирать, в каких торговых сетях и магазинах размещать рекламу. По данным наших партнеров – магазинов «Магнит», «Дикси», «Пятерочка», «Лента», «Перекресток», «Окей» на сегодняшний день доступно более чем 10 тыс. экранов в 2,7 тыс. магазинах. При этом суммарный охват одного рекламного объявления может превысить 100 млн контактов, а сама реклама размещается в срок от двух рабочих дней. Второе направление – разработка собственной платформы для трансляции цифрового контента.

- В чем суть предложенного решения?

Мы предложили клиентам возможность обратиться к нам и оперативно запустить кампанию требуемого масштаба на сети экранов одного из наших партнеров-ретейлеров или даже задействовать все доступные экраны партнеров одновременно. В дополнение мы можем помочь нашим клиентам оптимальным способом спланировать рекламные кампании.

Помимо этого, в рамках развития нашего направления мы разработали собственный программный продукт для трансляции цифрового контента – beeline indoor, состоящий из административной панели, где пользователь осуществляет управление контентом, а также плеера, который непосредственно воспроизводит контент на устройстве. С использованием нашего софта клиент может запускать рекламные кампании на устройствах, находящихся в собственных офисах или точках продаж клиента. Наша платформа позволяет осуществлять централизованное управление контентом на экранах, осуществлять мониторинг работоспособности устройств, оценивать количество показов рекламных роликов.

- На каких платформах реализовано решение?

Наша административная панель – это веб-приложение. Плеер в настоящее время реализован на операционных системах Linux и Android. В будущем мы планируем поддерживать его и на других операционных системах.

- Какие данные используются?

На этапе планирования кампании при необходимости и наличии запроса со стороны клиента мы можем использовать данные геоаналитики. Результат использования этого инструмента предоставляется в виде агрегированных статистических отчетов по динамике перемещения групп пользователей. Для анализа используется информация о нагрузке на базовые станции. На основе этих данных для клиента составляются тепловые карты и определяются места концентрации его целевой аудитории для каждого из рекламируемых товаров или сервисов. Сопоставив тепловые карты с информацией о размещении магазинов, клиент выбирает, в каких именно магазинах проводить рекламную кампанию.

Важно отметить, что передача сведений о конкретных пользователях и их местонахождении исключена. Услуга предоставляется при условии наличия согласия пользователей на соответствующую обработку.

При необходимости для планирования кампании могут использоваться данные торговых сетей по потребительскому поведению. Эта услуга оказывается с привлечением подрядчиков билайна, в том числе торговых сетей, где планируется размещение.

- Как таргетировать рекламу и добиться гибкости в трансляциях?

Большую роль в достижении представителей целевой аудитории играет планирование с учетом тепловых карт геоаналитики. Кроме того, в некоторых торговых точках оборудование для трансляций цифрового контента снабжено камерой. В этом случае может использоваться компьютерное зрение и предиктивные алгоритмы машинного обучения для распознавания вероятностного возраста и пола аудитории, которая просматривает рекламные ролики на экранах. Мы не осуществляем такую аналитику самостоятельно, например, просматривая записи из магазинов, эта возможность предусмотрена разработанным нами софтом и происходит на устройствах клиента или партнера. Это дает возможность персонализации и показа различным группам посетителей релевантного контента.

- Какие ресурсы – временные и человеческие – занял этот проект?

Команда, которая занимается развитием данного проекта, состоит из 12 человек. К настоящему моменту проект существует второй год в рамках команды Big Data & AI. С учетом высокого интереса со стороны потенциальных рекламодателей к возможностям, которые мы предлагаем, мы планируем продолжать работу и предлагать новые инструменты нашим клиентам.

- Что в ходе проекта было самым сложным?

Пожалуй, самый сложный момент, с которым мы столкнулись в ходе развития нашего проекта, было предубеждение потенциальных рекламодателей к цифровой indoor-рекламе. Оно базировалось на отсутствии понимания, каким образом спланировать рекламную кампанию, чтобы получить требуемый результат, а также недостатке инструментов для оценки эффективности такой рекламной кампании. Именно на решение этих проблем были направлены наши усилия.

- Какие результаты достигнуты и ожидаются?

Во-первых, благодаря запуску нашего проекта в билайне было сформировано новое направление бизнеса с высоким потенциалом развития. билайн впервые вышел на рынок indoor-рекламы и за короткий период времени стал восприниматься как один из ключевых игроков рынка.

Во-вторых, благодаря наличию гибких инструментов планирования у наших клиентов есть возможность оптимальным образом распределить свой рекламный бюджет между торговыми сетями и их магазинами, сформировать правильную географию и график рекламных трансляций и, в конечном итоге, транслировать рекламное сообщение на свою целевую аудиторию. Наш подход позволяет клиенту не переплачивать за потенциально «пустые» показы, а значит клиент может вложить деньги в развитие бизнеса или другие маркетинговые активности.

По нашим оценкам, больше половины компаний, размещающих цифровой контент на экранах, стали нашими постоянными клиентами и стабильно размещают 3-4 рекламные кампании в год со средней продолжительностью рекламного ролика 15 секунд.

- Приведите примеры решаемых клиентами задач.

Наши клиенты могут ставить перед собой различные задачи: скажем, банки – увеличение объема депозитов, а производители FMCG-товаров — увеличение продаж и повышение лояльности посетителей и т.д.

Например, один из FMCG-производителей на 18% увеличил продажи в тестовых магазинах по сравнению с контрольными. Еще в одной сети на 5% выросла выручка магазинов. Бывают и «имиджевые» проекты – в результате одного из них на 14% повысилась лояльность клиентов.

- В чем роль проекта для компании и рынка в целом?

Самое главное – нам удалось изменить подход к размещению цифрового контента в федеральных торговых сетях. Это позволило пересмотреть отношение потенциальных рекламодателей к такому формату. Ранее у них не было понимания эффективности данного инструмента и уверенности в том, что рекламное сообщение достигает своей целевой аудитории. Благодаря синергии цифровых продуктов билайн теперь стало возможным планирование рекламных кампаний, основанных на точках концентрации потенциальных клиентов рекламодателя. Если ролик или объявление уже готовы, то мы настроим инвентарь и определим «целевые» магазины в срок от двух дней, что является беспрецедентным на рекламном рынке.

Кроме того, одной из наших корпоративных ценностей является социальная ответственность. Поэтому мы интегрировали нашу платформу beeline indoor с системой «билайн.Поиск», которой пользуются волонтеры поисково-спасательного отряда «ЛизаАлерт». Благодаря этой интеграции мы можем размещать информацию о пропавшем человеке на экранах в торговых точках, находящихся в определенном радиусе от того места, где пропал, работает или живет человек. Таким образом, у нас появилась дополнительная возможность помочь людям, попавшим в беду, вернуться домой, а их семьям найти своих близких.

- Каковы направления развития платформы?

В ближайшее время мы планируем расширить работу с относительно новым для нас клиентским сегментом – средний и малый бизнес. Хотим дать возможность компаниям этого сегмента пользоваться нашими возможностями по размещению цифрового контента и продвигать свои товары и услуги на локальном уровне. Помимо этого, мы будем расширять количество партнерских интеграций и работать над функциональностью нашего софта.

В скором времени хотим дать нашим клиентам новые аналитические возможности, основанные на продуктах команды Big Data & AI. Так, у нас есть инструмент, благодаря которому мы можем оценить, насколько увеличились продажи товара по итогам рекламной кампании. Для этого, используя агрегированные статистические данные наших партнеров – торговых сетей, мы сопоставляем продажи товара в магазинах, где транслировался рекламный контент, с теми магазинами, где рекламная кампания не проводилась. Еще один инструмент – это мобильный опрос представителей аудитории, которые с большой долей вероятности могли видеть рекламные трансляции наших клиентов. В рамках этого функционала мы можем измерять целый спектр показателей (отношение к бренду, узнаваемость бренда и т.д.) в зависимости от потребности нашего клиента.