Статьи

Инструменты оптического распознавания текста или символов (OCR, Optical Character Recognition) сегодня прочно ассоциируются с технологиями искусственного интеллекта и машинного обучения. При этом их история началась почти сто лет назад. Какие задачи эти инструменты решают сегодня? Скоро ли наступит время, когда по нажатию одной «кнопки» система сможет провести полный анализ текста с любой картинки без участия человека?

Начинать разговор об инструментах OCR и роли технологий искусственного интеллекта и машинного обучения сегодня стоит с уточнения понятий. Широкая аудитория неоднозначно воспринимает эти термины, хоть и слышит их постоянно. Ведь, например, тот же калькулятор, самостоятельно выполняющий определенные операции, уже допустимо назвать искусственным интеллектом. Как и любую базу данных с поисковой системой, которую можно спросить о чем-либо и получить ответ.

ИИ в OCR

Дело в том, что под общим определением ИИ скрывается очень разнообразный стек технологий, которые на верхнем уровне подразделяются на слабый (Narrow AI), сильный (General AI) и продвинутый (Super AI) ИИ. Первый — это достаточно простой алгоритм, запрограммированный на выполнение одной узкой задачи. Второй на основе заложенных в него данных может имитировать человеческое мышление, рассчитывать последовательность задач и принимать решения, в том числе, с применением нейросетей. Третий способен самостоятельно развиваться, мыслить, искать информацию, превосходя человека в любых задачах. Правда, пока он существует только в виде гипотез, так как требует достаточно высоких вычислительных мощностей не только для своего существования, но и для своего рождения. Впрочем, над созданием необходимых дата-центров и прорывных процессоров уже работают лидеры отрасли. При этом новый GPT-5 пока что не будет кардинально отличаться от предшествующей версии. Да, у него больший объем данных и глубже понимание контекста, но в случае с OCR реставрация документов, точное выделение разнонаправленного текста из сильно зашумленных, искаженных документов, распознавание рукописного текста при замусоренности изображений — это по-прежнему отдельное направление для работы. Поэтому сегодня, развивая систему OCR, добавляя в нее новые функции, мы не рассчитываем на ИИ в финальной концепции, а имеем в виду симбиоз «достаточных» технологий, которые позволяют программе взаимодействовать с окружающим миром: получать информацию из разных источников и выдавать ответ.

Само понятие оптического распознавания символов также нуждается в пояснении. Первые аппаратные средства, которые можно охарактеризовать как OCR-системы, появились почти сто лет назад: знаменитая, запатентованная в 1929 году «читающая машина» Густава Таушека на основе готовых шаблонов могла переводить текст на изображениях в печатный вид. По сути, читая любые материалы, каждый из нас занимается оптическим распознаванием: вычленяет в книге или на экране буквы и слова в определенном порядке, сравнивает с имеющейся в голове «базой данных» (например, системой естественного языка), анализирует и сопоставляет со знакомыми символами. Задача разработчиков инструментов OCR фактически заключается в том, чтобы машина могла качественно повторить этот процесс. Искусственный интеллект, разумеется, способствует достижению подобной цели.

Что умеет OCR уже сегодня

Рассматривая типовую функциональность инструмента OCR, мы пройдем по всему бизнес-процессу распознавания — от получения документа до аналитики.

На первом этапе системе необходимо просто понять, что на каком-либо изображении содержится текст — на отсканированном документе, фотографии, на ценнике или этикетке товара в магазине, в видеофайле или где-то еще. Отличить один объект от другого, вычленить потенциальный текст — это простая функция для технологии компьютерного зрения, но она одна из ключевых. Человек также читает не все подряд, а лишь то, на чем акцентирует свое внимание.

Более сложная задача — качественно передать содержание текста в систему, когда на изображении большое количество помех и шумов. Мешать могут дополнительные объекты в кадре, помарки в рукописном тексте, блики или размытия на фотографии, искажения текста, мусорные элементы, дефекты (например, слабо проявленный, смятый и потертый европротокол с множественными помарками нервничающего водителя) и т.д.

Поэтому перед началом анализа к объекту распознавания применяются технологии очистки и предобработки, которые позволяют сделать этот текст более качественным: развернуть, кадрировать, увеличить резкость, убрать шумы и прочие посторонние элементы. Существенную помощь на этих этапах оказывают легкие узконаправленные алгоритмы, которые построены на простых архитектурах и могут, например, детектировать вывеску, затем найти на ней шумы и символы, нормализовать текст и привести его в читаемый вид, пригодный для распознавания. Для этого необязательно перегружать систему сложными нейросетями.

Нормализованное изображение может быть подано на обработку специализированной сети, осуществляющей более точное детектирование текста. При этом важно понимать, что перегружать одну сеть, используя ее для решения всех задач по детекции, — слишком затратно. Поэтому вначале используются классификаторы на определенные виды оставшейся дефектовки и структуры текста, затем применяются сети по определению компоновки документа, далее уже легкие узконаправленные сети решают свои задачи: одна — распознавания очищенного фрагмента с текстом, другая — определения шрифта, языка и т.д.

Ключевой шаг после распознавания — понимание контекста. Система должна определить в документе те атрибуты, которые будут в дальнейшем использоваться в определенных бизнес-процессах: бухгалтерии, логистике, юридической службе и т.д. То есть на изображении начинается поиск определенных ключевых слов: сумм, дат, номеров контейнеров, заказов, договоров. Если документ структурированный (например, паспорт), систему можно настроить на проверку определенных областей. Если неструктурированный — она будет искать нужные сведения по всему тексту, изучая каждое слово.

В дальнейшем распознанные атрибуты возможно анализировать дополнительно, формируя комплекты документов, актуализируя и сверяя данные с информационными ресурсами, а также полностью или частично переносить их в другие системы. Для этого также справедливо использовать как алгоритмику и правила, так и языковые модели. Задав нейросети грамотный промпт, есть шанс получить качественный ответ.

Таким образом, уже сейчас технологии OCR могут полностью или частично автоматизировать рутинные процессы, связанные с обработкой информации в документах самых разных категорий: деловые бумаги и нормативные акты, этикетки, строительные чертежи, судебная документация и многое другое. Наибольшую пользу они приносят в связке со смежными системами — например, с CRM и электронным документооборотом.

Перспективы инструментов распознавания

Все движется к тому, что с расширением возможностей технологий искусственного интеллекта OCR-системы полностью трансформируются или сольются с целевым понятием ИИ, наделенным первоклассным зрением, аналитическим умом и тонким слухом. Главный сдерживающий фактор на пути — недостаток вычислительных мощностей, к тому же существующие дата-центры потребляют колоссальное количество энергии и крайне дороги в обслуживании.

Проблема решается несколькими способами. Производители микроэлектроники вроде Intel, AMD, NVIDIA выпускают процессоры, адаптированные под задачи ИИ, но на данный момент стоимость их очень высока, а мощность по-прежнему недостаточная, несмотря на то, что некоторые показатели новинок впечатляют. Разработчики нейросетей пытаются оптимизировать свои системы, делая их доступными для более слабого «железа». Это «приземляет» текущие сети, но не приближает их к целевому понятию ИИ. Крупный бизнес занимается оснащением мощных дата-центров, а рядовые пользователи и небольшие компании (например, дизайнерская студия или контент-менеджер) могут рассчитывать на облачные сервисы для доступа к нейросетям по модели подписки.

Однако полноценный прорыв в массовом использовании технологий на основе искусственного интеллекта, в том числе выход на новый уровень систем OCR, будет возможен только с развитием квантовых и биокомпьютеров. Соответствующие наработки уже мелькают в новостных сводках и обзорах. В момент, когда квантовые технологии станут массово доступными, мы, скорее всего, и обретем ту самую «волшебную кнопку», позволяющую пользователю дать системе какую угодно интеллектуальную задачу и получить качественный результат. Хотя, конечно, это перспектива дальняя.

Автор — Виктор Горюнов, директор продукта SOICA компании SL Soft

Место ИТ-службы в организационной структуре и зоны ее ответственности в вузах сильно разнятся: ИТ может быть самостоятельным подразделением или связанным с финансово-экономическим блоком, далеко не всегда очевидно, кому оно подчиняется и отвечает ли за информационную безопасность. А вот проблемы у всех вузов по большому счету одинаковы и сводятся к ограниченности ресурсов: финансирования и кадров. Участники стрима «Образование», организованного сообществом цифровых управленцев «я-ИТ-ы», обозначили ряд болевых точек для ИТ-руководителей учебных заведений.

Бессмертный «зоопарк»

«Зоопарк» слабо интегрированных или вообще не связанных между собой программных продуктов, с которым бизнес активно боролся много лет назад, сегодня, похоже, наиболее характерен именно для вузов. Разносортный софт, которым пользуются деканаты и бухгалтерия, личные кабинеты студента и работодателя, расписание, рабочие приложения ректора, система управления учебным процессом (LMS) — все это надо увязывать. И нельзя сказать, что в этом направлении ничего не делается.

Как рассказал начальник управления информационных технологий, связи и информационной безопасности Омского государственного университета Сергей Барановский, цифровизация ОМГУ начиналась с самописных систем. «Но в 2020 году нас постигла катастрофа масштаба: замена каждого следующего сервиса требовала все большей трансформации существующей инфраструктуры, — поделился он. — С той поры мы начали радикально все менять, упорядочили самописные системы и положили в основу понятные платформы».

На проблему «зоопарка» обратили внимание и регуляторы, наметив движение в сторону типовых облачных ресурсов. Так, был запущен проект по типовым облачным ресурсам для вузов Донбасса, включающий операционную систему, офисный пакет, LMS и прочее. Кроме того, в этом году ожидается перезапуск проекта по созданию типового рабочего места под эгидой Минцифры и Минобрнауки, так что в небольших вузах остроту проблемы, возможно, удастся снизить.

А вот тема совместной разработки или обмена уже созданным ПО как средства борьбы с «зоопарком» на рабочем месте буксует, и понятно почему. Во-первых, вузы конкурируют за бюджеты, за абитуриентов «высокобалльников» и «олимпиадников» по всей стране. Поэтому помогать разрабатывать решения конкурентам готовы далеко не все. Во-вторых, внутреннее решение развивается под требования внутреннего заказчика, а у следующего заказчика будут иные идеи. Вырвать любую инхаус-разработку из существующей инфраструктуры конкретной организации и куда-либо перенести — сложнейшая задача. В-третьих, даже передав свои наработки безвозмездно, поддерживать их в другой организации бесплатно никто не будет. Тиражирование внутреннего решения требует серьезного уровня партнерства, командной работы. Отнюдь не каждой организации под силу повторить опыт создания «ЛОГОСа», разработанного в контуре Росатома для внутренних нужд, но превращенного в рыночный продукт.

Дорогая безопасность

Затронули участники обсуждения и весьма деликатный вопрос о жизни на два компьютера, один из которых «нормальный», а другой — аттестуемый для обработки персональных данных (ИСПДн). Общее мнение — лучше даже не задавать лишних вопросов о том, как вообще это устроено.

Еще один тонкий момент: вуз не имеет права хранить персональные данные студентов после окончания обучения — эти данные нужно перенести в архив, либо обезличить, либо уничтожить. Об это правило спотыкается организация эффективного взаимодействия с работодателями. Например, в МАИ создали цифровую кадровую платформу, чтобы пристраивать своих выпускников. Но, во-первых, на эти цели персональные данные не собирали, и, во-вторых, самые интересные работодателю студенты — выпускники, данные которых как раз и требуется убирать. МАИ должен готовить кадры, прежде всего, для авиационной промышленности и авиационно-ракетной отрасли. Однако ОАК, Ростех, Роскосмос и ОДК не могут конкурировать по стартовому уровню зарплаты для новичков с тем же «Яндексом». Поэтому кадровая платформа, где можно размещать вакансии, которые видят студенты, для них очень актуальна, подчеркнул Федор Васильев, заведующий кафедрой «Цифровые технологии и информационные системы» Московского авиационного института. Что касается вопроса, зачем государству готовить специалистов, которые потом уходят на свободный рынок, по его мнению, ответ прост: человек, который работает в условном «Яндексе», приносит государству налогов в разы больше, чем человек, работающий на авиационном заводе.

Федор Васильев: «Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет?»

Обеспечить себя ИТ-специалистами высокого уровня для вузов тоже серьезная проблема. «Как затащить топ-айтишников в любую компанию, если это не «Сбер» и не «Яндекс», это большой вопрос», — обозначил проблематику Васильев. Возможность вырастить собственные кадры из студентов не спасает «кузницу кадров» от катастрофического кадрового голода. Сегодня вузам нужны любые ИТ-специалисты, которые способны самостоятельно и качественно решать различный спектр задач.

Помимо требований к защите персональных данных, еще один огромный ИБ-айсберг норовит потопить вузовские ИТ: по умолчанию вузы являются объектами критической информационной инфраструктуры с соответствующим уровнем требований к защите. Нелегальный доступ или модификация информации в объекте критической инфраструктуры является уголовным преступлением. Поэтому с «закручиванием гаек» и выходом новых нормативных актов, связанных с удаленным подключением, ИТ-службы вынуждены закрывать возможности удаленного доступа к системам учреждения, резко ухудшая таким образом качество сервиса. Если раньше сотрудники финансово-экономического управления и бухгалтеры могли работать удаленно, а преподаватели могли из дома делать рабочие программы по своим дисциплинам, учебные планы, смотреть результаты работы студентов, то теперь это можно делать исключительно с аттестованного компьютера на отечественной операционной системе. Ключевым сотрудникам стараются сохранить возможности для удаленной работы, но решение этой проблемы требует затрат, отметил Барановский. Для удаленного доступа на рабочем месте должны быть типовое программное обеспечение и средства защиты информации. Однако для рядового сотрудника нельзя купить за бюджетные деньги ноутбук с характеристиками лучше установленных, и потратить на него выше установленной суммы — тоже нельзя. Между тем купить ноутбук со всеми средствами защиты за установленную нормативом сумму просто невозможно, отметили участники дискуссии.

«Буржуйское», но сейчас, или свое, но потом?

Государственные вузы сегодня должны заменять иностранное ПО, в том числе операционные системы и офисные приложения, на российское. Но, помимо этого, есть еще один серьезный вопрос, связанный с импортозамещением: чему учить студентов? Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет? И какие операционные системы, средства проектирования и прочие решения тогда устанавливать в компьютерных классах?

«Нам уже сейчас нужно готовить студента, который через 4-6 лет выйдет на предприятие и будет работать на том программном обеспечении, которое там будет использоваться», — говорит Сергей Попов, проректор по цифровизации МАИ. Только как обучить продукту, которого еще нет?

Сергей Попов: «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью»

Разумеется, в крупных холдингах есть представление о том, на каком софте они будут работать через несколько лет, существуют дорожные карты по разработке ПО, в том числе в рамках индустриальных центров компетенции. Но сами продукты еще не готовы. «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью в части разработки стратегии импортозамещения на предприятиях», — считает Попов.

Пока же остается в запасе классический тезис, что вузы не учат конкретным инструментам. «Все-таки конкретные инструменты — это ремесло, а мы — про образование», — заметил Васильев. Поэтому студенты знакомятся с разными программными инструментами, но основное что дает вуз — базовая теория. Правда, работодателей возврат к такой установке вряд ли обрадует.

Для Президентской Академии РАНХиГС импортозамещение сейчас не самая критичная задача, тем не менее, ее решением занимаются. И Р7, и «Мой офис» уже давно включены в программы обучения, на которых учат всех чиновников. «Что касается внутренних систем, то в апреле, когда Microsoft заявила, что уходит из России в соответствии с пакетом новых европейских санкций, для нас это был хороший повод, — рассказал Павел Клепинин, проректор по информационным технологиям и цифровой трансформации Президентской Академии РАНХиГС. — И мы через пять дней перевели наших пользователей на сервисы «Яндекса» — почту, календарь, диск и мессенджер». Все встречи и рабочие совещания теперь проводятся в сервисе «Яндекс.Телемост», а дистанционный процесс обучения и в гибридном формате — через «МТС Линк». Смена любой системы — всегда стресс и нужно с ним работать. В управлении изменениями есть множество инструментов, как этот стресс снять и сделать людей сторонником изменений. При переходе большое внимание было уделено именно этому компоненту. Нужно обязательно транслировать опыт воздействия на сотрудников.

«ИТ-ночь на Ивана Купала» — традиционная встреча цифровых управленцев, с которой начинается отсчет очередного года сообщества «я-ИТ-ы», прошла насыщенно и плодотворно. Съехавшиеся со всех концов страны ИТ-руководители обсуждали интересные исследования и кейсы, делились полезным опытом, разбирали свои ошибки и тренировались в управленческих поединках. «я-ИТ-ы» активно растет и развивается: каждый день в сообщество добавляется один новый ИТ-управленец, сообщил один из учредителей сообщества «я-ИТ-ы» Павел Клепинин.

В числе обсуждаемых ИТ-директорами тем снова актуализировались вопросы эволюции роли ИТ-подразделений и необходимости ИТ-бизнес-партнеров. Согласно исследованию «Монитор технологий» компании РДТЕХ, в 28% компаний, опрошенных в прошлом году, ИТ-подразделение – это основной драйвер цифровой трансформации. При этом 48% ресурсов ИТ-подразделений направлено на разработку цифровых продуктов и сервисов.

Павел Клепинин: «Каждый день в сообщество добавляется один новый ИТ-управленец»

Некогда модный тренд на превращение ИТ-руководителей в ИТ-бизнес-партнеров так и не стал доминирующим, но и не растворился совсем. Как рассказала Людмила Трофимова, директор по цифровому развитию Президентской Академии РАНХиГС, опрос резидентов сообщества «я-ИТ-ы» подтвердил предположение, что массового появления ИТ-бизнес-партнеров не наблюдается, поскольку результаты запуска этой активности не стабильны и больше зависят от личных особенностей конкретного исполнителя, чем от системно выстроенной работы ИТ-бизнес-партнеров. Тем не менее, у 40% опрошенных в компании есть либо выделенная должность, либо роль ИТ-бизнес-партнера. Причем лидируют роли, связанные с глобальным развитием ИТ-функции и формированием отношений с заказчиком. ИТ бизнес-партнер – это специалист, который умеет вести диалог на уровне первых лиц компании/функции, обладает стратегическим видением и понимает взаимосвязь бизнес-задач с ИТ-решениями. По аналогии с семейным доктором он знает историю «болезни» своего бизнеса, персональные особенности, владеет полным «анамнезом», и его цель — упреждающе работать на сохранение «здоровья». Ключевые компетенции ИТ-бизнес-партнера явно связаны с цифровизацией бизнес-процессов: он должен знать бизнес-процессы функции и имеющиеся на рынке ИТ-решения, которые позволяют их автоматизировать, а также уметь инициировать и реализовывать необходимые проекты цифровизации. По мнению участников дискуссии на ИТ-Купале, наличие ИТ-бизнес-партнера ускоряет принятие управленческих решений, так как коммуникации входят в число его основных задач.

Людмила Трофимова: «Новые роли появляются тогда, когда влияние ИТ на эффективность бизнеса становится очень высоким»

Стать хорошим ИТ-бизнес-партнером способен далеко не каждый айтишник. Хорошо справятся с этой ролью бывшие ИТ-директора, бизнес-аналитики и бизнес-архитекторы, главные по развитию ИТ, проектные менеджеры. И совсем не подходят на эту роль ответственные за инфраструктуру, пресейлы, ИТ-архитекторы и аналитики данных. Подавляющее большинство респондентов считает, что ИТ бизнес-партнеры не нужны абсолютно всем компаниям и на появление этих позиций в оргструктуре в большей мере влияет масштаб холдингов.

В целом решающее влияние на появление новых ролей в ИТ оказывают не масштаб компании, ее зрелость, корпоративная культура или численность ИТ, а степень влияния цифровизации на эффективность бизнеса. Чем больше эффективность бизнеса зависит от ИТ-инструментов, тем сильнее это вынуждает ИТ-функцию эволюционировать, выстраивая новые эффективные модели работы.

Директора по информационной безопасности, которые реагирование на угрозы и восстановление работоспособности приравнивают по важности к профилактическим мерам, приносят больше пользы, чем те, кто придерживается устаревших подходов с абсолютной нетерпимостью к сбоям. Каждое очередное нарушение кибербезопасности показывает, что управление в службах информационной безопасности осуществляется скорее за счет адреналина, а не реализации конкретных замыслов. Но такая тактика не обеспечивает достаточной устойчивости. Отрасль добилась невероятных успехов в части профилактики. Что же касается реагирования и восстановления, они оставляют желать лучшего, поскольку никто не хочет примерять на себя менталитет неудачника. А между тем, в условиях, когда успешных кибератак все больше, а их последствия ощутимее, организациям необходимо повышать эффективность реагирования и восстановления, не ограничиваясь одними лишь инвестициями в профилактические меры.

На пути к обеспечению дополненной кибербезопасности (так в Gartner решили назвать повышение уровня реагирования и восстановления до уровня профилактики) приоритетное внимание следует уделять трем направлениям: обеспечению отказоустойчивости системы кибербезопасности бизнеса, минимизации набора инструментов при сохранении его эффективности и повышению уровня устойчивости специалистов по кибербезопасности.

Обеспечение отказоустойчивости системы кибербезопасности

Gartner рекомендует сосредоточить основное внимание на двух областях, где превентивные меры неэффективны: генеративном искусственном интеллекте и использовании технологий независимых организаций. Генеративный ИИ развивается очень быстро, и предотвратить все атаки одновременно невозможно. Решающее значение здесь приобретает способность адаптироваться к неизбежным сбоям, своевременно реагировать на них и быстро восстанавливать работоспособность. Профилактические рекомендации необходимо дополнять пособиями по эффективному реагированию и восстановлению.

Что касается управления рисками кибербезопасности, связанными с независимыми организациями, работа с теми, кто является источником риска, будет продолжаться. Но при этом необходимо убедиться, что планы обеспечения непрерывности функционирования бизнеса, разработанные независимыми организациями, хорошо задокументированы и протестированы.

Минимизация набора инструментов с сохранением его эффективности

Руководители служб информационной безопасности продолжают хранить старое оборудование, срок годности которого истек, и в то же время спешат добавить новые инструменты, не понимая до конца, какие дополнительные затраты и сложности для управления это влечет за собой. Необходимо разорвать порочный круг «синдрома приобретения оборудования», препятствующий успешному развитию, и по возможности минимизировать количество различных инструментов для наблюдения, защиты и реагирования на попытки использования уязвимостей организации.

Чтобы достичь этой цели, руководители служб информационной безопасности должны:

• Выявлять избыточности и бреши в защите, сопоставляя имеющийся набор инструментов со своей системой управления.
• Добиваться технического обоснования выбранной концепции с учетом рисков развертывания, а не только функциональности компонентов.
• Активно внедрять в существующие инструменты генеративный искусственный интеллект.

Повышение уровня устойчивости специалистов по кибербезопасности

Руководители служб информационной безопасности и их команды зачастую склонны к проявлению героизма. Они считают, что должны избегать плохих результатов любой ценой, даже в ущерб своему здоровью. Однако такой подход во многих случаях приводит к обратному эффекту. Чтобы добиться результатов, к устойчивости персонала нужно относиться так же, как и к другим компетенциям:

• Упростите сотрудникам получение необходимой им поддержки. Сюда относятся консультации и тренировки на стрессоустойчивость во время активных инцидентов.
• Передавайте свой опыт. Руководители должны подавать пример и делиться ситуациями, когда поставленных целей достичь не удалось, а также сделанными из этого выводами.
• Добивайтесь снижения эмоционального выгорания. Ищите причины возникновения трудностей, устраняйте узкие места и используйте средства автоматизации для освобождения творческой энергии людей.

Переизбыток доступных данных способствовал сегодняшнему всплеску внедрения искусственного интеллекта и его генеративных возможностей в большей степени, чем какой-либо другой фактор. Сбор, очистка, систематизация и защита данных фактически превратились для искусственного интеллекта и машинного обучения в самостоятельный проект – процесс управления, в котором важную роль играют сами инструменты ИИ. Результатом всего этого может стать значительное улучшение управления данными, которое принесет пользу всему предприятию.

База данных остается основным хранилищем данных, но экосистема инструментов управления данными на основе искусственного интеллекта (включая продукты стартапов, которым может пока не хватать стойкости и полноценного понимания всех нюансов функционирования баз данных) уже получает повсеместное распространение. Со временем с предлагаемым программным обеспечением для баз данных и облачными сервисами, очевидно, будет интегрироваться все больше функций управления.

Применение ИИ для автоматизации управления данными способно приносить немедленную отдачу. Чем лучше предприятие управляет своими данными, тем лучше сотрудники, занимающиеся машинным обучением, могут использовать эти данные для создания приложений на базе искусственного интеллекта. В более широком смысле добавление искусственного интеллекта к управлению данными оказывает положительное влияние на их аналитику, соблюдение нормативных требований и повышение качества данных в любой отдельно взятой организации.

Рассмотрим подробнее, каким образом ИИ модернизирует процессы, связанные с управлением, и как инструменты, улучшенные с его помощью, способствуют успеху как приложений искусственного интеллекта и машинного обучения, так и процесса обработки данных в целом.

Каталогизация данных

Знаете ли вы, где находятся ваши данные? Для эффективного управления организациям необходима полная инвентаризация всех основных хранилищ данных и понимание того, что в них содержится. Задача идентификации корпоративных данных, доступа к ним и их классификации становится все более сложной в том числе и из-за бесконтрольного распространения облачных хранилищ данных, не говоря уже о наличии полуструктурированных журналов, используемых для выявления операционных тенденций и аномалий. Программное обеспечение для каталогизации данных позволяет составить подробную схему этих хранилищ.

Искусственный интеллект может помочь на всех этапах каталогизации данных организации, начиная с автоматического обнаружения хранилищ данных, имеющих отношение к предприятию. Спектр инструментов каталогизации варьируется в широких пределах. Некоторые используют ИИ в том числе и для определения политик контроля доступа и организации поиска на естественном языке. Каталогизация на основе искусственного интеллекта значительно сокращает объем ручного труда, связанного с классификацией информационных ресурсов, и выявляет происхождение данных, показывая, откуда они берутся и как менялись.

Управление метаданными

Эффективное управление метаданными, то есть информацией, описывающей данные компании, имеет основополагающее значение для успешного управления. Инструменты каталогизации на основе искусственного интеллекта позволяют идентифицировать метаданные для правильной классификации информационных ресурсов. Кроме того, управление метаданными имеет жизненно важное значение для надежной работы с данными. Широкий спектр существующих предложений – от программного обеспечения для интеграции данных до платформ наблюдения за ними – открывает новые возможности и для управления метаданными.

Инструменты управления метаданными, основанные на искусственном интеллекте, облегчают процесс ручной классификации данных и помогают устранять различия в описаниях метаданных. В прошлом предприятия оперировали относительно статичными метаданными, но сегодня инструменты ИИ непрерывно отслеживают и собирают динамическую информацию о хранении, использовании и перемещении потоков данных. Помимо других преимуществ, метаданные, подробно описывающие ресурсы данных, могут использоваться для выдачи на основе ИИ рекомендаций по оптимизации платформ хранения и даже для определения потенциальных путей интеграции данных.

Качество данных

Наибольшее влияние ИИ оказал на качество данных, которое характеризуется шестью основными аспектами: точностью, полнотой, согласованностью, уникальностью, своевременностью и достоверностью. Очевидно, что при отсутствии у данных этих свойств риск катастрофических последствий в результате операционной деятельности заметно возрастает. А специалистам, занимающимся наукой о данных, и аналитикам приходится прилагать титанические усилия к очистке данных, прежде чем их можно будет использовать.

Инструменты искусственного интеллекта и машинного обучения позволяют автоматически находить пропущенные значения, осуществлять нормализацию форматов данных, выявлять аномалии в них и выполнять многие другие функции. Конечно, решения (например, идет ли в случае одинаковых имен речь об одном и том же или о разных клиентах) людям по-прежнему приходится принимать самостоятельно, но общая экономия времени оказывается огромной. По мере того, как инструменты искусственного интеллекта находят все больше закономерностей в обширных объемах данных, выдаваемые ими рекомендации, обнаруживаемые корреляции и вносимые коррективы постоянно улучшаются. Соответствующие критерии используются при организации мониторинга качества данных в режиме реального времени.

Моделирование данных

Структурирование базы данных – или всей архитектуры данных – начинается со сбора и анализа требований к данным, а также с разработки логических и физических моделей, обеспечивающих соответствие этим требованиям. В ряде продуктов искусственный интеллект позволяет архитекторам данных и инженерам легко создавать визуальные представления моделей данных.

Сегодня на многих предприятиях моделирование данных направлено на обслуживание приложений искусственного интеллекта и машинного обучения. Некоторые инструменты обработки данных с использованием ИИ предлагают автоматизированное конструирование признаков (feature engineering), при котором ключевые характеристики извлекаются из наборов данных, предназначенных для подготовки к обучению ИИ. В сочетании с автоматическим машинным обучением это позволяет подбирать модели разных типов, определяя наиболее подходящие для конкретных приложений и прогнозной аналитики. Если данных для эффективного обучения модели оказывается слишком мало, инструменты моделирования на основе искусственного интеллекта могут использовать существующие хранилища и генерировать синтетические данные, которые очень похожи на реальные.

Политика данных и управление их жизненным циклом

Политику обработки своих данных организациям необходимо определять на основе федеральных, государственных, отраслевых и международных нормативных актов, а также внутренних бизнес-правил. На крупных предприятиях создаются комитеты по управлению данными, которые устанавливают соответствующие правила и разъясняют порядок их выполнения. Описывается все это в специальном документе, который дополняется по мере изменения правил и процедур. Поддержка естественного языка генеративным искусственным интеллектом позволяет автоматизировать создание черновых вариантов такой документации и значительно облегчает внесение в нее последующих изменений.

Анализируя шаблоны использования данных, нормативные требования и внутренние рабочие процессы, ИИ помогает организациям определять и внедрять политику хранения, а также автоматически идентифицировать данные, срок службы которых истек. Искусственный интеллект способен инициировать даже процедуры архивации и удаления. Наряду со снижением рисков и обеспечением выполнения нормативных требований автоматизация архивирования данных создает условия для освобождения места и сокращения затрат на хранение.

Готовность данных

Системы аварийного восстановления на базе искусственного интеллекта помогают организациям разрабатывать эффективные стратегии восстановления, прогнозируя возможные сценарии сбоев и принимая превентивные меры для минимизации простоев и исключения потери данных. Системы резервного копирования, основанные на искусственном интеллекте, гарантируют целостность резервных копий и автоматически инициируют процедуры восстановления потерянных или поврежденных данных в случае сбоя.

Системы управления хранением на базе ИИ реплицируют и распределяют данные по нескольким хранилищам, обеспечивая высокий уровень их готовности и низкую задержку. Средства прогнозной аналитики на основе искусственного интеллекта собирают данные с датчиков, из журналов оборудования и архивных записей систем технического обслуживания в целях минимизации потенциальных сбоев или простоев. Для предотвращения снижения уровня готовности данных профилактические меры важны, как ничто иное.

Человек по-прежнему необходим

С управлением данными искусственный интеллект по большей части справляется достаточно легко. Многие задачи (от обнаружения данных и их очистки до управления политиками), связанные с управлением и выполняемые сегодня во многом вручную, не представляют для ИИ особых сложностей и решаются им с более высокой точностью по сравнению с людьми. И это уже большая победа, особенно если учесть, что для операций машинного обучения нужны очищенные и упорядоченные хранилища данных, на основе которых можно создавать и обучать приложения искусственного интеллекта.

Следует, однако, помнить, что искусственный интеллект не обладает в полной мере разумом в том смысле, который мы вкладываем в это слово. Для устранения даже незначительных расхождений в данных может понадобиться анализ контекста и опыт, который способны приобрести только люди. Очевидно, никто не станет сегодня поручать машине создание корпоративной архитектуры данных. Да, искусственный интеллект уже сейчас способен исключить значительную часть ручного труда при управлении данными. Но он не сможет решать за вас все.

На рынке отечественных ЦОДов происходит настоящий бум. Из года в год игроки демонстрируют стабильный рост минимум на 20%, это очень хороший показатель. Уход международных вендоров положительно отразился на развитии компетенций как отечественных производителей решений для дата-центров, так и самих заказчиков. Рассмотрим текущие тенденции и события на рынке ЦОД в 2024 году.

Развиваются высокотехнологичные решения

Все помнят, что в первый год санкций российские вендоры сконцентрировались на выпуске наиболее востребованных простых продуктов. Это привело к возникновению дефицита предложения в нише высокотехнологичного оборудования для ЦОДов. Сейчас ситуация изменилась. Еще в прошлом году отечественные производители начали разработки технологически сложных решений под индивидуальный запрос заказчиков. Это достаточно долгий и затратный процесс. Однако российские вендоры, готовые предложить аналоги зарубежных серверов и систем хранения данных, справляются с поставленными перед ними задачами и демонстрируют положительную динамику.

Усложняются пожелания заказчиков и к производителям инженерных систем. Если еще год назад заказчикам требовались преимущественно фреоновые кондиционеры, то сейчас у них появился интерес к инновационным технологиям охлаждения. Запущено несколько проектов с применением «холодных стен» – в частности, в новом ЦОДе Tier IV одного из крупнейших телекоммуникационных холдингов.

Проекты становятся сложнее

Еще вчера ситуация на рынке требовала от бизнеса сфокусироваться на поддержании работоспособности ЦОДов, а не их модернизации. Теперь заказчики не откладывают технологически сложные проекты на завтра. Некоторые из таких проектов начинались еще в 2021-2022 году. В период кризиса клиентам пришлось самим искать новых вендоров и оборудование, обеспечивать его совместимость с существующими системами. К настоящему моменту эти проекты, хоть и с задержкой, реализованы. Рынок семимильными шагами наверстывает то, что было упущено, и делает это успешно.

Растет число локализованных продуктов

До 2022 года большинство инфраструктурных проектов на 80% и более состояло из оборудования западных брендов. Спустя год к этой цифре уже приблизились решения, преимущественно локализованные в России. На данный момент долю оборудования для ЦОДов, произведенную отечественными компаниями, можно осторожно оценить в 30-50% — в зависимости от того, какие продукты считать российскими.

Приходится отметить: то, что производится в России, зачастую состоит из азиатских компонентов, а то, что привозится в Россию — целиком является азиатским продуктом. В зависимости от формы контракта между компаниями это может быть как полностью локализованное на азиатском рынке изделие, так и заказное решение под брендом и дизайном российского производителя.

На все 100% российской компоновки нет даже, например, у блоков распределения питания на базе процессора «Байкал», которые фактически полностью разработаны и производятся в России. Все основные компоненты у них российские или имеют статус российских. Но мелкие SDM-компоненты в этих блоках все же импортного производства — в России аналогов нет.

Забота о совместимости оборудования стала общей

Изначально задача по обеспечению совместимости оборудования для ЦОДов была прерогативой международных вендоров. Российский бизнес брал оборудование известного производителя, переплачивал за бренд и рассчитывал, что имя вендора будет гарантом качества, в том числе в части совместимости. В большинстве случаев такой подход оправдывал себя. Исключения, само собой, случались, но это происходило не так часто, чтобы придавать большое значение.

Сейчас совместимость оборудования достигается общими усилиями производителя, партнера-инсталлятора и самого клиента. Естественно, переход к такой модели вызвал рост компетенций как у интеграторов, так и у заказчиков. Бизнесу пришлось самому научиться собирать системы из имеющегося на рынке оборудования, проверять их на отсутствие конфликтов и устойчивую работоспособность. От вендоров по-прежнему ждут информационную и техническую поддержку, но времена, когда производителю во всем верили на слово, остались в прошлом.

Комплексных решений становится больше

Поскольку любому клиенту нужна уверенность в сбалансированности решения, российские производители активно конкурируют на рынке комплексных решений для центров обработки данных. В связи с этим трендом хотелось бы отметить три важных момента.

Во-первых, наличие в линейке комплексных решений является ощутимым преимуществом вендора только в том случае, если он действительно гарантирует взаимодействие всех подсистем. Например, у C3 Solutions есть реализованный проект для «СПБ Биржи», в котором было необходимо модернизировать серверную площадку компании. Специалисты всего за полгода оборудовали помещение российской биржи «под ключ», снабдив заказчика полным комплексом инженерных решений.

Во-вторых, требования к комплексности оборудования для разных участков ЦОДа отличаются. Особенно комплексность важна для серверных систем и систем хранения, поскольку не каждая такая система, собранная из разных компонентов, в принципе будет работать. С инженерными решениями проще – скажем, у кондиционеров нет большой зависимости от систем бесперебойного питания.

Наконец, следует помнить, что комплексность дает лучшие результаты там, где у заказчика есть единая точка ответственности за совместимость оборудования. Когда подбором систем занимаются разные команды, каждая из которых преследует свои цели, решить вопросы совместимости продуктов становится сложнее.

Стоимость сопоставимых решений уравнивается

Сопоставимые по функционалу и качеству отечественные и импортируемые из дружественных стран продукты сравнялись по стоимости. Конечно, если клиент закупает оборудование напрямую в Юго-Восточной Азии, оно будет априори дешевле. Но в его итоговую стоимость войдет логистика, прохождение таможенных процедур, обеспечение пусконаладочных работ, сервисной поддержки, гарантийного и постгарантийного обслуживания.

Сейчас на российском рынке в основном представлено два типа производителей. Первые являются отечественными компаниями, которые локализуются в России. Вторые — зарубежные поставщики, которые стремятся зайти на наш рынок, открывают здесь представительства и предоставляют сервис. Но цена продуктов этих вендоров в процессе локализации растет и уравнивается по рынку.

Искусственный интеллект требует роста мощностей

В связи с большими потребностями в искусственном интеллекте очевиден еще один тренд. Нагрузка на ЦОДы от использования ИИ резко возрастает. Если раньше стандартом считался дата-центр со стойками на 5 кВт, то сейчас и 10 кВт на стойку – не предел. Для реализации проектов с применением ИИ уже сейчас нужны стойки и инженерная инфраструктура на 30-50 кВт, и вопрос о том, каким именно способом эту потребность закрыть, актуален.

Оптимальное технологическое решение должно быть гибким и конвергентным, оно должно позволять реализовывать в той или иной комбинации как маломощные продукты на 5 кВт, так и высоконагруженные стойки. К тому же наличие в ЦОДе таких стоек требует решить непростую задачу с их охлаждением.

Уже в ближайшем будущем рост применения технологий ИИ в ЦОДах приведет к необходимости увеличивать их энергоснабжение, и надо будет найти способ сделать это экологично.

Влияние новых санкций невелико

В конце февраля Минфин США ввел блокирующие санкции против крупных российских дата-центров. До сих пор нет полного понимания, по каким критериям одни ЦОДы подверглись санкциям, а другие нет, даже если они работают с государством. Зато за эти два месяца стало очевидно, что какого-либо серьезного влияния очередные санкции на российские дата-центры оказать не смогли.

Одна из причин — российский рынок коммерческих центров обработки данных сейчас сосредоточен на клиентах из России и ближнего зарубежья, для которых эти санкции не являются ограничительным фактором. Даже если кто-то из крупных азиатских игроков, выходя на российский рынок, не рискнет разместить мощности в ЦОДах из санкционного списка, эти случаи будут единичны и не приведут к отрицательной динамике.

Несмотря на санкции и другие сложности, о которых сказано выше, можно прогнозировать, что темпы роста рынка отечественных центров обработки данных в 2024 году сохранятся.

Автор — Леонид Юль, директор по развитию компетенций ЦОД C3 Solutions

В 2023 году команда Онлайн-университета «Ростелекома» разработала и провела образовательную программу повышения квалификации «Дата-инженер» для сотрудников компании на базе собственной отечественной «Платформы управления данными». За счет обучения внутренними ресурсами удалось подготовить необходимых специалистов, смягчив кадровый дефицит. О реализации программы рассказывает Екатерина Барабанова, директор по развитию персонала «Ростелеком» и номинант на премию Data Award.

- В каких направлениях «Ростелеком» видит особый дефицит кадров? В какие цифры вы его оцениваете?

Цифровая трансформация бизнеса — одна из национальных целей развития страны на ближайшее будущее. Это направление активно поддерживает и развивает «Ростелеком». Сейчас компании нужны специалисты, знакомые с корпоративными системами и обладающие знаниями для их развития. То есть требуются дата-инженеры, специалисты по машинному обучению, системные аналитики, разработчики баз данных, системные администраторы, DevOps-специалисты.

- В чем именно заключаются основные проблемы?

Сегодня в стране наблюдается острый дефицит ИТ-специалистов, который не закончится в ближайшее время. Рынок с точки зрения количества людей физически сократился. При этом число вакансий в сфере ИТ выросло на 40%.

Страна нуждается в отечественных и независимых от импорта программных решениях. Поэтому «Ростелеком» разрабатывает собственные решения по направлениям кибербезопасности, телекоммуникаций, облачных технологий, виртуализации, биометрии, видеонаблюдения, управления данными, искусственного интеллекта, цифровой медицины, государственных цифровых услуг и др. Одним из таких решений стала наша платформа управления данными — универсальный набор отечественных программных продуктов для построения хранилища данных и аналитики.

Компании нужны специалисты, обладающие достаточной квалификацией для разработки и развития наших решений. На рынке найти таких специалистов крайне сложно. Также компания стремится к повышению эффективности процессов и их автоматизации на всех уровнях.

- Какими способами пытаетесь решать эти проблемы?

Мы действуем сразу в нескольких направлениях для преодоления кризиса дефицита кадров. Во-первых, используем технологии для повышения эффективности: обучаем сотрудников языкам программирования и работе с искусственным интеллектом, чтобы они могли автоматизировать свою работу. Расширяем осведомленность о доступных инструментах внутри компании.

Во-вторых, растим кадры внутри. Запускаем собственные программы переквалификации, где на практике обучаем актуальным знаниям и инструментам. Развиваем собственную инфраструктуру для обучения и работаем с лучшими преподавателями.

Программа повышения квалификации «Дата-инженер» комбинирует в себе два подхода. На ней обучаются сотрудники, которые хотели научиться работать с новыми инструментами для автоматизации процессов на текущем месте работы, и те, кто хотел сменить карьерную траекторию и перейти в область дата-инженерии.

- Кто занимался разработкой программы?

В разработке и проведении программы участвовала школа программирования «Ростелекома», которая обучила уже более 3,5 тыс. сотрудников за пять лет работы, а также дата-офис. Дата-офис – это наш драйвер data-driven культуры, один из лидеров отрасли управления данными в России, команда-разработчик платформы управления данными. Экспертом и преподавателем был приглашен Азат Якупов – сертифицированный архитектор данных, инженер в сфере высоконагруженных и высокодоступных систем хранения, специалист в области аудита отечественной операционной системы «Аврора».

- Что включает программа?

Программа разрабатывалась с «чистого листа». Мы ориентировались на сотрудников, которые уже знакомы с SQL, Python и активно работают с большим количеством данных. Это позволило сосредоточиться на продвинутых инструментах. Программа получилась насыщенной, в нее вошли семь образовательных блоков, для практики был развернут учебный стенд. В рамках обучения сотрудники выполнили 10 практических заданий, разработали и защитили итоговый проект.

- Что было сделано в рамках проекта?

В рамках реализации проекта за 6,5 месяцев удалось провести большую работу. Была разработана система отбора на программу обучения и получено более 100 заявок от сотрудников различных подразделений.

С методической стороны разработана программа для обучения сотрудников от теоретических материалов до практических занятий (более 450 страниц). С технической стороны — подготовлен учебный стенд полностью на отечественном программном обеспечении, организован постоянный доступ участников обучения к стенду и круглосуточная поддержка стенда на время обучения. На протяжении всего курса было проведено более 30 занятий и консультаций в формате онлайн.

В рамках программы студенты изучили и на практике отработали вопросы работы с данными: хранение, трансформация и использование.

- Какие инструменты работы с данными изучались?

Изученные инструменты охватывают управление инфраструктурой ресурсов, работу с большими данными на платформе Hadoop, работу со структурированными данными на платформе GreenPlum, работу с потоковыми данными на платформе Kafka, аналитику данных на платформе ClickHouse.

- Каковы результаты обучения?

Проведен пилотный поток программы на 50 сотрудников различных подразделений в дистанционном формате. Стоит отметить, что они высоко оценили качество программы. По результатам опроса выпускников NPS программы превысил 90, содержание программы оценено на 4,82 из 5, а практическая применимость – на 4,68 из 5.

По результатам обучения сотрудники защитили 20 командных проектов, причем некоторые из них нацелены на решение реальных задач компании. Девять выпускников планируют переход в ИТ-подразделение компании, а остальные видят возможности в применении знаний на текущем рабочем месте.

Программа позволяет решить вопрос оттока кадров, рекрутинга кадров в дата-офис, а также повысить эффективность бизнес-аналитики в компании.

- В чем роль проекта для компании?

Пилотный проект обучения был ориентирован на сотрудников компании, которые уже работают с данными. На программе студенты смогли систематизировать и дополнить свои знания по работе с данными: от подготовки до визуализации и принятия решений, познакомиться на практике с продвинутыми инструментами работы с большими данными, узнать больше о направлениях работы с данными внутри компании.

За счет обучения студентов из разных подразделений компании мы ожидаем повышение качества и своевременности аналитики, сокращение издержек за счет оптимизации процессов обработки данных, а также рост удовлетворенности клиентов за счет способности более быстро и точно реагировать на их потребности и требования рынка.

- Каковы дальнейшие планы по развитию программы?

В 2024 году мы планируем адаптировать программу «Дата-инженер» для внешних слушателей и сделать ее доступной на одной из популярных платформ дистанционного образования.

Сеть ресторанов быстрого питания Rostic’s провела масштабную реорганизацию платформы данных, внедрив более современные и эффективные инструменты и обеспечив их работу в Yandex Cloud. О влиянии этого проекта на бизнес и открывающихся возможностях рассказывают Егор Попов, ведущий разработчик хранилищ данных, и Никита Целищев, инженер по данным сети ресторанов Rostic’s. Проект компании номинирован на премию Data Award.

- Что представляла собой аналитическая платформа Rostic’s до сих пор?

Егор Попов: Аналитическая платформа сети Rostic’s состоит из двух элементов: data-платформа и BI-отчетность. Изначально загрузка данных в платформу строилась на классическом ETL-подходе с использованием самописного Python-фреймворка на основе PySpark и SQL UDF для загрузки слоев внутри хранилища данных. Интеграция с основными и самыми крупными источниками данных была выстроена на прямых подключениях к базам данных и инкрементальной загрузке данных путем фильтрации SQL-запросов по бизнес-дате.

Такой подход имеет много узких мест: например, нагрузка на систему-источник – «спам» тяжелыми SQL-запросами, а также потери данных, если в источнике что-то изменилось и при этом нет аудитных полей, указывающих на эти изменения. Да и сама реализация ETL имела ряд недостатков: каждый пайплайн нужно было разрабатывать вручную, писать пользовательскую функцию (user-defined function, UDF) под каждую загрузку, расставлять зависимости.

- В чем заключались бизнес-проблемы, приведшие к необходимости построения новой платформы данных? Почему это важно для компании?

Е.П.: Наша компания – один из лидеров на рынке ресторанов быстрого обслуживания. В сети более 1,1 тыс. ресторанов, работающих под брендом Rostic’s, расположенных в 74 регионах РФ. Рестораны генерируют большой объем данных, которые необходимо быстро обрабатывать. Правами на бренд в России владеет «Юнирест», эта компания в том числе выполняет ряд бизнес-функций, включая финансовое планирование, маркетинг, HR, управление поставками. Эффективность этих процессов напрямую зависит от качества данных.

Кроме того, бизнес Rostic’s строится по модели франчайзинга. Партнерам также необходимо предоставлять актуальную информацию о работе их ресторанов, отдавать им данные и служить для них «единым источником правды» о работе всего бизнеса. Мы предоставляем для ресторанов доступ к информации о бизнес-показателях в его точках присутствия. Такая аналитика помогает партнерам быстрее принимать решения по управлению ресторанами.

Потребителями данных является BI-отчетность, аналитики данных. Еще одна важная функция платформы – построение озера данных, то есть единого хранилища данных для всей компании. Источником данных является большое количество систем: чаще всего это реляционные базы данных, есть FTP и API, а также файлы, которые поступают на почту и в хранилище. Чтобы ускорить обработку данных и упростить работу аналитиков, потребовалось пересмотреть архитектуру хранилища и перевести его на более современный стек технологий.

- Какие требования предъявлялись к создаваемому хранилищу данных?

Никита Целищев: Во-первых, хранилище данных (DWH) должно иметь архитектуру «звезда» и обладать полным слепком всех данных со всех источников. При этом загрузка должна осуществляться ежедневно, актуальность данных – не ранее T-1, а данные должны обновляться в хранилище до 9:00 по московскому времени. Платформа данных должна включать в себя озеро данных для холодного хранения, DWH для детальных данных, витрины данных для быстрого доступа к подготовленным или очищенным данным.

Важно было изменить ETL-подход на ELT, и были необходимы инструменты управления качеством данных и обеспечения наблюдаемости данных (Data Observability).

- Как это отразилось на выбранном стеке технологий?

Н.Ц.: Обновленная платформа данных архитектурно строится на Greenplum, а инструмент dbt отвечает за трансформацию данных. Airflow оркестрирует dbt, а dbt загружает сами данные. Данные загружаются из S3, куда они попадают с помощью Airbyte.

Входная точка работ – это забрать данные из всех источников и отправить их на платформу. Хранилище организовано на базе S3. Здесь находится озеро данных и исторические данные. Из S3 удобно считывать с помощью формата PXF данные Greenplum без дополнительных фреймворков. Использование S3 также позволяет оптимизировать затраты на обслуживание Greenplum. Все исторические данные, которые не нужны оперативно, попадают в S3, где происходит их охлаждение. Данные, которые поступают из источников, поступают уже в охлажденном виде.

Мы также перешли с концепции пакетной загрузки на Change Data Capture (CDC, «захват изменения данных»). Это механизм загрузки данных, при котором учитываются только измененные данные и нет необходимости отправлять прямые SQL-запросы в базы данных. Это в том числе позволяет снизить нагрузку на систему-источник. Это позволило заметно вырасти в производительности, сократить время разработки и сохранить всю историю в первозданном виде, имея полный слепок данных с источников.

После того, данные из S3 поступили в «сырой» слой, необходимо построить детальный слой витрин. Классический подход при построении этой трансформации – самописный ETL-фреймворк, написанный на Python, который оперирует YML-файлами, обрабатывает их и загружает в хранилище. Для прогрузки слоев DWH необходимо было многое делать вручную. Дата-аналитик с отсутствием опыта работы с Airflow не мог этого сделать. Внедрение инструмента dbt дало возможность оперировать знакомым каждому языком SQL, а зависимости и загрузка данных были реализованы автоматически.

Переход на dbt с самописного ETL-фреймворка себя оправдал: аналитики сами стали создавать объекты, в два раза сократили трудозатраты на постановку объекта на регламент, исключили разработчиков из построения детального слоя витрин. Аналитики создают модели быстрее, чем это делал бы разработчик, вдвое.

Greenplum и Clickhouse часто противопоставляют, но мы используем их в связке. Оба сервиса управляются с помощью Yandex Cloud. Поддерживать два кластера самостоятельно – трудозатратно, а Yandex Cloud это автоматизировано. Greenplum мы используем для построения быстрых слоев хранилища. Clickhouse, в свою очередь, используется как система источников для BI, подготовки данных для отчетности и др. В связке мы добились крайне быстрой, оптимальной работы.

- Почему были выбраны сервисы Yandex Cloud?

Е.П.: Мы выбрали Yandex Cloud, потому что у компании есть большое количество управляемых сервисов, что помогает снизить нагрузку на команду – все рутинные задачи выполняет облачный провайдер. В частности, в Managed Service for Greenplum и ClickHouse за управление кластерами и мониторинг работоспособности сервисов отвечают специалисты Yandex Cloud. Кластерами можно удобно управлять через интерфейс, используя большое количество метрик, логов, уведомлений, дашбордов. Это помогает оперативно отслеживать, что и в какой момент происходит в хранилище. Кроме того, мы используем возможности резервного копирования – есть возможность восстановить кластер Greenplum из резервной копии за заданный период времени.

- Что в итоге представляет собой созданная платформа?

Н.Ц.: В хранилище аккумулируются и обрабатываются данные из 12 источников, в том числе из программы для предприятий общественного питания R_Keeper, учетной системы «1С», банковских приложений, сервисов заказа быстрой доставки, таких как «Яндекс Еда», сервиса для треккинга и аналитики мобильных приложений AppMetrica, платформы для автоматизации маркетинга Mindbox и других.

В качестве технологий используются ClickHouse и Greenplum для организации хранилища данных, российская BI-система «Форсайт» и Python Airflow DBT как оркестратор пополнения данных. Все инструменты развернуты на платформе Yandex Cloud в Kubernetes. Классическая «тяжелая» ETL-загрузка происходит раз в сутки, ночью. Днем перегружаются небольшие объекты, для которых необходима оперативная аналитика. Managed Kubernetes как ETL-платформа в Yandex Cloud позволяет нам разграничивать ресурсы и автоматически масштабировать кластер ночью, а днем не платить за него. Удобные мониторинги, удобная настройка.

- В чем «фишка» созданного решения, что на ваш взгляд, удалось особенно удачно?

Н.Ц.: Можно выделить несколько деталей. В первую очередь, это автоматизация трансформации данных в слоях хранилища с помощью инструмента dbt и автоматически генерируемая документация объектов хранилища. Кроме того, появился Data Lineage, реализовано CDC как полноценная замена ETL-процесса. Производится автоматическое тестирование данных на их качество в процессе загрузки. Благодаря использованию dbt разработку всех объектов хранилища теперь можно доверить аналитикам, что существенно снижает трудозатраты и время работ.

- Каких значимых результатов удалось достичь на данный момент?

Е.П.: Cущественно повысилась прозрачность в работе с данными. Каждое утро в телеграм-бот приходит отчетность о том, как прошла ночная загрузка. Высвечиваются идентификаторы записей, которые не прошли проверки – например, что-то задублировалось, по каким идентификаторам прошли дубли и сколько их было. Это помогает оперативно исправлять ошибки и следить за качеством данных.

Благодаря реализации проекта компания уже ускорила разработку новых технологий в три раза и в два раза быстрее готовит аналитические отчеты – например, по продажам позиций из меню.

- А что ожидается в дальнейшем?

Е.П.: Платформа работает с 2022 года, и за это время уже стала неотъемлемой частью бизнеса компании. У нас большие планы по развитию. Например, развитие self-service BI – концепции, при которой бизнес может сам строить аналитику по параметрам, которые ему необходимы. Мы хотим использовать данные для разработки технологий искусственного интеллекта, в частности – внедрить прогнозирование спроса и предложения, развивать персонализированные сервисы для гостей.

- Какую роль играет реализация проекта для бизнеса компании? Какие принципиально новые возможности появляются?

Е.П.: Дата-платформа помогает оперативно реагировать на изменение ключевых показателей, видеть отклонения и аномалии данных, которые происходят в результате процессов, принимать на их основании решения и более гибко управлять бизнесом, реагируя на изменения рынка.

Большинство отчетов для бизнеса формируются уже на основании существующих данных, загруженных в систему. Самообслуживание (Self-service) – важный инструмент аналитики, который помогает бизнесу самостоятельно проверять различные гипотезы и создавать новые срезы данных. В результате процесс разработки происходит гораздо быстрее и дешевле, без привлечения дорогостоящих ресурсов разработчиков.

- В каком направлении будет развиваться платформа данных Rostic’s?

Е.П.: Будет происходить уход от пакетной (Batch) загрузки в сторону потоковой загрузки (Streaming), что даст дальнейшую экономию времени. Проведем внедрение полноценного каталога данных. Ожидается развитие data-driven культуры и процессов data governance, а также в целом направления Data Science.

В ОАО «РЖД» за короткое время осуществили перенос на импортонезависимую платформу основной функциональности управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечены технологические условия для тиражирования этого решения. О реализации проекта рассказывают Кирилл Семион, начальник департамента информатизации ОАО «РЖД», и Александр Толгский, руководитель дирекции по продажам департамента «Государственные программы» IBS – номинанты на премию Data Award.

— В каком состоянии находились процессы управления НСИ в РЖД до реализации проекта? Как они были реализованы?

Кирилл Семион: ОАО «РЖД» имеет разветвленную организационную структуру и осуществляет хозяйственную деятельность по различным направлениям. С учетом этого, а также высокого уровня автоматизации деятельности ОАО «РЖД» и его дочерних предприятий одним из ключевых вопросов, стоящих перед компанией, является обеспечение единства, полноты и достоверности нормативно-справочной информации, используемой различными специалистами компании в ходе исполнения своих обязанностей.

В рамках решения этой задачи в компании в разное время были созданы специализированные системы для ведения нормативно-справочной информации, но, несмотря на это, в различных создаваемых и развиваемых информационных системах ОАО «РЖД» разработчиками были реализованы возможности по ведению НСИ. Это приводило к нарушению принципов единства и полноты нормативно-справочной информации, затрудняло взаимодействие на уровне отдельных информационных систем, усложняло существующую архитектуру и ИТ-ландшафт ОАО «РЖД».

— В чем заключались основные проблемы? Почему это было важно для РЖД?

К.С.: Ключевая предпосылка проекта — отсутствие единой системы управления НСИ. По состоянию на 2022 год в ОАО «РЖД» эксплуатировались две информационные системы, обеспечивающие централизованное ведение справочников — ИС, предназначенная для ведения технологических справочников, и система, предназначенная для ведения справочников, используемых в рамках автоматизации предприятия в целом (ERP).

Второй предпосылкой стало то, что централизованные системы ведения НСИ были созданы с использованием лучших на тот момент из представленных на рынке решений — платформы и продукты иностранных производителей. Таким образом, использование решений иностранных вендоров для автоматизации функции ведения справочников во множестве функциональных и технологических систем ОАО «РЖД», после ухода иностранных вендоров из России несло существенные риски выхода из строя вычислительной инфраструктуры и общесистемного программного обеспечения, а также обострило вопрос информационной безопасности.

Совокупность этих факторов и привела к старту проекта по созданию новой версии Автоматизированной системы централизованного ведения нормативно-справочной информации (АС ЦНСИ-2), реализованной на базе решений, включенных в реестр отечественного программного обеспечения Минцифры России, и отвечающей всем требованиям ОАО «РЖД» к решению такого класса.

— Какой подход был выбран для решения задачи?

К.С.: В ОАО «РЖД» существуют довольно жесткие требования, предъявляемые к внедряемому ПО. На старте проекта было принято решение провести анализ включенных в реестр отечественного программного обеспечения продуктов, а затем предложить разработчикам пройти комплексное тестирование в соответствии с методикой ОАО «РЖД» и подтвердить возможность применения своего решения как в части показателей назначения, так и в части предоставляемых продуктом функциональных возможностей.

Мы направили ряду разработчиков письмо с предложением провести демонстрацию и последующее тестирование их решений. Ряд компаний, включая компанию IBS, ответили согласием. По итогам тестирования, которое в общей сложности продолжалось более трех месяцев, был подготовлен отчет о тестировании, который подтвердил заявленные характеристики продукта «Планета.НСИ» и его функциональность.

После выбора решения для создания АС ЦНСИ-2 ОАО «РЖД» была проведена объемная работа по формированию границ проекта, состава нормативно-справочной информации, организационного объема и требований к создаваемой на базе платформы автоматизированной системе.

— Какие требования предъявлялись к создаваемому решению?

Александр Толгский: В первую очередь создаваемое отечественное решение необходимо было за короткое время интегрировать в существующую ИТ-архитектуру ОАО «РЖД» без ущерба для существующих процессов управления НСИ в замещаемом ПО. Чтобы упростить переход специалистов к полноценному использованию новой системы, также было необходимо, с одной стороны, воспроизвести существующую в АС ЦНСИ функциональность, а с другой — обеспечить ее реализацию максимально удобным для пользователей способом с учетом существующих технологических возможностей платформы.

В целом, если говорить про требования, система на первом этапе должна была обеспечить централизованную миграцию исторических данных и ведение более 1,4 тыс. справочников и связанных с ними метаданных, обеспечить возможность интеграции с более чем 140 информационными системами ОАО «РЖД» (как потребителями, так и источниками данных).

— Что было сделано в рамках проекта?

А.Т.: В рамках проекта была проведена масштабная работа по развертыванию отказоустойчивой конфигурации инфраструктурного ПО и платформы «Планета.НСИ» в тестовом и производственном контурах ОАО «РЖД», настроена базовая функциональность платформы и реализована дополнительная функциональность в соответствии с ТЗ, реализованы типовые средства интеграции с системами-потребителями и системами- источниками, мигрированы справочники и связанные с ними метаданные, проведено комплексное тестирование и обеспечена возможность переключения взаимодействия внешних систем со старой АС ЦНСИ на новую АС ЦНСИ-2 без пауз в предоставлении нормативно-справочной информации.

— В какие сроки и какими силами реализован проект?

А.Т.: Тестирование платформы заняло три месяца, далее порядка восьми месяцев шла работа проектной команды на стороне ОАО «РЖД». Сам проект реализации и внедрения платформы АС ЦНСИ-2 проходил с марта 2023-го по ноябрь 2023 год.

Общий размер команды с нашей стороны составил более 100 человек.

— В чем заключались сложности проекта? Как они решались?

А.Т.: При внедрении новой системы ведения НСИ требовалось воспроизвести все наполнение унаследованной системы, реализовать более 1,4 тыс. справочников, настроить связи между ними и контроли, которые обеспечивались не только видимыми триггерами в базе данных, но и в программном коде унаследованного приложения.

Кроме того, в новой системе ведения НСИ требовалось реализовать дополнительные ссылочные связи между справочниками, которые ранее велись независимо друг от друга. В процессе настройки был выявлен ряд расхождений в технологических справочниках.

Специалистами IBS совместно со специалистами Главного вычислительного центра с привлечением АО «НИИАС» была проведена работа по глубокому обследованию особенностей реализации каждого справочника, настроены автоматические процедуры сверки данных между унаследованной и новой системой АС ЦНСИ-2 и исследования причин каждого расхождения в данных и их устранения.

На этапе ввода системы в эксплуатацию требовалось обеспечить постоянную загрузку данных из систем-источников, которые не имели в тестовом контуре релевантных данных для отладки интеграции. В результате значительную часть интеграционных сценариев пришлось отлаживать уже в производственном контуре, обеспечив параллельную загрузку данных из систем-источников в унаследованную и в новую систему ведения НСИ и сверку справочников между системами.

— Что представляет собой созданное решение?

К.С.: Созданная АС ЦНСИ-2 обеспечивает централизованную функцию ведения НСИ в ОАО «РЖД», функционирует на базе программной платформы и вычислительного кластера, созданных в Российской Федерации.

Сегодня система включает в себя более 1,4 тыс. справочников, для каждого из которых реализованы модели данных, средства контроля качества данных и пользовательские интерфейсы. Для основной массы справочников АС ЦНСИ-2 является мастер-системой, а для части систем, которые еще находятся в процессе перевода на отечественные решения, АС ЦНСИ-2 выступает в качестве шлюза-маршрутизатора в старую систему АС ЦНСИ.

— Как изменились процессы, связанные с управлением НСИ? Как это повлияло на работу сотрудников?

К.С.: Благодаря реализации дополнительной ссылочной связи между технологическими справочниками упростились процессы актуализации НСИ, ряд задач, ранее выполнявшихся администраторами данных вручную, теперь выполняется в автоматическом режиме, повысилось качество данных.

С внедрением платформы «Планета.НСИ» существенно упростились процедуры по созданию новых объектов НСИ. Создание новых объектов НСИ, включая создание моделей данных, экранных форм, форм поиска и алгоритмов контроля качества данных, теперь можно проводить непосредственно через веб-интерфейс АС ЦНСИ-2 без участия разработчика.

Система также предусматривает возможность создания новых объектов НСИ при помощи импорта метаданных из шаблона, что существенно ускоряет реализацию новых объектов НСИ, и перевод ведения справочников из смежных информационных систем ОАО «РЖД» в АС ЦНСИ-2.

— Каких результатов удалось достичь?

А.Т.: АС ЦНСИ-2 за короткое время была интегрирована в существующую ИТ-архитектуру ОАО «РЖД». При этом был обеспечен перенос на импортонезависимую платформу основного функционала управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечен технологический задел для тиражирования АС ЦНСИ-2 в части состава справочников и подключения новых источников и потребителей данных.

— А какие результаты ожидаются в перспективе?

К.С.: К АС ЦНСИ-2 активно подключаются новые системы, в том числе реализуемые в рамках стратегии цифровизации ОАО «РЖД».

Мы планируем и далее развивать АС ЦНСИ-2 как в части расширения функциональных возможностей и повышения удобства пользователей в работе с системой, так и в части перевода ведения справочников из функциональных систем в АС ЦНСИ-2 и обеспечения интеграции с автоматизированными системами ОАО «РЖД».

Еще одним приоритетом для нас является расширение функционала по контролю качества данных, что позволит упростить такие процессы, как выявление дубликатов записей, нормализация данных справочников и т.д.

— В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

К.С.: Реализация проекта позволила ОАО «РЖД» выявить точки роста не только в части ведения нормативно-справочной информации, но и в существующих бизнес-процессах компании и смежных с АС ЦНСИ-2 системах. Мы продолжим и далее совершенствовать процессы ведения нормативно-справочной информации и переводить системы на централизованное ведение справочников. То есть новая информационная система стала и будет развиваться как полноценный компонент всей корпоративной системы управления данными.

Health&Nutrition (бывшее подразделение Danone в России) реализует проект перехода с корпоративной системы по управлению нормативно-справочной информацией на решение «Гармония MDM» – 100% российскую систему, внесенную в реестр отечественного ПО. О ходе работ и первых результатах рассказывает Анна Ерохина, руководитель команды технической поддержки сервисов по работе с мастер-данными Health&Nutrition и номинант на премию Data Award.

- В чем заключалась бизнес-проблема, почему внедрение MDM важно для компании?

Управление корпоративными справочниками является бизнес-критичной задачей для нормальной работы производства, логистики, продаж. Не менее важно качество мастер-данных для аналитических систем и корпоративной отчетности. Отсутствие автоматизированного подхода привело бы к многочисленным ошибкам, что повлияет на производственные процессы компании и, как итог, ее финансовый результат.

Перед нами стояла задача локализовать процессы ведения справочников в ERP-системе и получить полноценное централизованное решение для ведения корпоративных мастер-данных с подключением внутренних и внешних источников. В очень сжатые сроки в систему «Гармония MDM» должен был быть перенесен функционал из корпоративного решения Danone по управлению мастер-данными, а также проведена дополнительная автоматизация.

- Какой подход был выбран для решения задачи?

Мы выбрали итерационный подход. В первую очередь, мы сфокусировались на переносе основного функционала из корпоративного решения – внедрение MVP-версии. Затем, вторым этапом, идет настройка интеграции с корпоративной ERP-системой. Одновременно с этим на стороне вендора ведется разработка функционала системы, который поможет адаптировать новое решение к бизнес-процессам компании. Третий этап – перенос в новую систему справочников, которые вручную ведутся командой бизнеса в формате Excel, а также настройка интеграции с хранилищем данных.

- В чем заключались сложности проекта?

Как обычно, основная сложность проекта заключалась в сочетании сжатых сроков и большого объема проекта. У нас было всего шесть месяцев на внедрение MVP по пяти крупным корпоративным справочникам. Мы приняли решение проводить сверку и выравнивание данных между MDM и ERP одновременно с эксплуатацией системы. Также нам потребовалась оптимизация производительности, и доработка критически важного функционала.

Из организационных проблем можно выделить вовлечение в проект порядка 10 различных команд бизнеса и ИТ, а также одновременное подключение ресурсов MDM-проекта к общему, «большому» проекту локализации компании.

- Как решались проблемы?

Производитель «Гармонии MDM» принял в бэклог доработки коробочного решения значительный объем задач, который позволил адаптировать систему под зрелые и развитые процессы управления справочниками в нашей компании. В частности, был разработан специализированный инструмент для сверки данных с ERP-системой.

До окончания сверки и выравнивания данных справочники одновременно ведутся вручную в MDM и ERP. Старт интеграции запланирован сразу после подтверждения полной сходимости данных.

Наконец, произошло усиление менеджерского состава со стороны подрядчика для повышения управляемости проектом.

- В какие сроки и какими силами реализован проект?

Проект реализован силами подрядчика Axenix с активным и деятельным вовлечением бизнес-заказчика и локального ИТ. На внедрение MVP потребовалось шесть месяцев, на настройку интеграции – 10 месяцев, сейчас мы находимся на финальном шаге по запуску интеграции MDM с ERP.

- Что представляет собой созданное решение?

Это полноценная MDM-система, в которой ведутся критичные для бизнеса справочники материалов, клиентов, поставщиков и контрактов, с реализованными процессами управления данными. В ней уже настроены правила для проверки соблюдения бизнес-логики ведения атрибутов. У системы более 700 конечных пользователей и на данный момент она на 80% готова к интеграции с ERP.

- Что было сделано в рамках проекта?

В рамках MVP был реализован довольно объемный функционал. Во-первых, созданы справочники для хранения данных из ERP-системы: материалы, клиенты, поставщики, закупочные и сбытовые контракты, производственные рецептуры, ассортиментные матрицы, а также связанные с ними более 200 вспомогательных справочников. Работа серьезная — данные о материалах содержат 400 тыс. записей и 600 атрибутов, о клиентах – 300 тыс. записей и 300 атрибутов, о поставщиках – 70 тыс. записей и 200 атрибутов, о контрактах с клиентами и поставщиками – 4 млн и 600 тыс. записей соответственно.

Во-вторых, выстроены 90 бизнес-процессов, содержащих в себе от 1 до 10 шагов от момента инициирования заявки до финального обновления данных в справочнике, а также отправка уведомлений на почтовый ящик пользователей, задействованных в процессах. Создано 1,8 тыс. бизнес-правил, позволяющих автоматически заполнять значения атрибутов и выполнять проверку соблюдения бизнес-логики ведения данных. Настроена ролевая модель – более 60 ролей в системе, позволяющая управлять доступами и полномочиями пользователей. Функционал решения позволяет гибко скрывать и делать доступными для просмотра и заполнения поля справочника в зависимости от выбранного бизнес-процесса и роли пользователя.

Кроме того, разработан функционал массового обновления данных в системе через интерфейс (загрузка с помощью Excel-шаблона). Настроена прямая и обратная интеграция в режиме реального времени по перечисленным справочникам с корпоративной ERP-системой.

По итогам проекта разработано более 100 дополнительных функций, которые были добавлены в «коробочную» версию системы.

- А какие работы еще предстоят?

Предстоит реализовать различные справочники для хранения данных из Excel-файлов, а также из системы поддержки работы мобильных сотрудников (sales force automation, SFA) и веб-приложений: матрицы торговых точек, актуальная цена товаров на полке, мастер-данные торговых точек, варианты дизайна SKU, новинки, сроки действия дизайнов, данные для расчетов RTM. Конечно, потребуется настроить бизнес-процессы управления перечисленными справочниками и их интеграцию с хранилищем данных и другими системами.

- В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

Внедрение MDM-системы открыло нам возможность организации целостного подхода к управлению критичными для бизнеса справочниками и данными в едином инструменте.

В планах на май – настройка интеграции с корпоративной ERP-системой по справочникам материалов, клиентов и поставщиков, а также интеграция с хранилищем данных по ряду ручных справочников. В планах на июнь – настройка интеграции с корпоративной ERP-системой по клиентским и сбытовым контрактам. В планах до конца года – перенос для ведения в MDM-системе порядка 100 ручных справочников и развитие интеграции с хранилищем данных и системой SFA.