Репортаж

Инструменты оптического распознавания текста или символов (OCR, Optical Character Recognition) сегодня прочно ассоциируются с технологиями искусственного интеллекта и машинного обучения. При этом их история началась почти сто лет назад. Какие задачи эти инструменты решают сегодня? Скоро ли наступит время, когда по нажатию одной «кнопки» система сможет провести полный анализ текста с любой картинки без участия человека?

Начинать разговор об инструментах OCR и роли технологий искусственного интеллекта и машинного обучения сегодня стоит с уточнения понятий. Широкая аудитория неоднозначно воспринимает эти термины, хоть и слышит их постоянно. Ведь, например, тот же калькулятор, самостоятельно выполняющий определенные операции, уже допустимо назвать искусственным интеллектом. Как и любую базу данных с поисковой системой, которую можно спросить о чем-либо и получить ответ.

ИИ в OCR

Дело в том, что под общим определением ИИ скрывается очень разнообразный стек технологий, которые на верхнем уровне подразделяются на слабый (Narrow AI), сильный (General AI) и продвинутый (Super AI) ИИ. Первый — это достаточно простой алгоритм, запрограммированный на выполнение одной узкой задачи. Второй на основе заложенных в него данных может имитировать человеческое мышление, рассчитывать последовательность задач и принимать решения, в том числе, с применением нейросетей. Третий способен самостоятельно развиваться, мыслить, искать информацию, превосходя человека в любых задачах. Правда, пока он существует только в виде гипотез, так как требует достаточно высоких вычислительных мощностей не только для своего существования, но и для своего рождения. Впрочем, над созданием необходимых дата-центров и прорывных процессоров уже работают лидеры отрасли. При этом новый GPT-5 пока что не будет кардинально отличаться от предшествующей версии. Да, у него больший объем данных и глубже понимание контекста, но в случае с OCR реставрация документов, точное выделение разнонаправленного текста из сильно зашумленных, искаженных документов, распознавание рукописного текста при замусоренности изображений — это по-прежнему отдельное направление для работы. Поэтому сегодня, развивая систему OCR, добавляя в нее новые функции, мы не рассчитываем на ИИ в финальной концепции, а имеем в виду симбиоз «достаточных» технологий, которые позволяют программе взаимодействовать с окружающим миром: получать информацию из разных источников и выдавать ответ.

Само понятие оптического распознавания символов также нуждается в пояснении. Первые аппаратные средства, которые можно охарактеризовать как OCR-системы, появились почти сто лет назад: знаменитая, запатентованная в 1929 году «читающая машина» Густава Таушека на основе готовых шаблонов могла переводить текст на изображениях в печатный вид. По сути, читая любые материалы, каждый из нас занимается оптическим распознаванием: вычленяет в книге или на экране буквы и слова в определенном порядке, сравнивает с имеющейся в голове «базой данных» (например, системой естественного языка), анализирует и сопоставляет со знакомыми символами. Задача разработчиков инструментов OCR фактически заключается в том, чтобы машина могла качественно повторить этот процесс. Искусственный интеллект, разумеется, способствует достижению подобной цели.

Что умеет OCR уже сегодня

Рассматривая типовую функциональность инструмента OCR, мы пройдем по всему бизнес-процессу распознавания — от получения документа до аналитики.

На первом этапе системе необходимо просто понять, что на каком-либо изображении содержится текст — на отсканированном документе, фотографии, на ценнике или этикетке товара в магазине, в видеофайле или где-то еще. Отличить один объект от другого, вычленить потенциальный текст — это простая функция для технологии компьютерного зрения, но она одна из ключевых. Человек также читает не все подряд, а лишь то, на чем акцентирует свое внимание.

Более сложная задача — качественно передать содержание текста в систему, когда на изображении большое количество помех и шумов. Мешать могут дополнительные объекты в кадре, помарки в рукописном тексте, блики или размытия на фотографии, искажения текста, мусорные элементы, дефекты (например, слабо проявленный, смятый и потертый европротокол с множественными помарками нервничающего водителя) и т.д.

Поэтому перед началом анализа к объекту распознавания применяются технологии очистки и предобработки, которые позволяют сделать этот текст более качественным: развернуть, кадрировать, увеличить резкость, убрать шумы и прочие посторонние элементы. Существенную помощь на этих этапах оказывают легкие узконаправленные алгоритмы, которые построены на простых архитектурах и могут, например, детектировать вывеску, затем найти на ней шумы и символы, нормализовать текст и привести его в читаемый вид, пригодный для распознавания. Для этого необязательно перегружать систему сложными нейросетями.

Нормализованное изображение может быть подано на обработку специализированной сети, осуществляющей более точное детектирование текста. При этом важно понимать, что перегружать одну сеть, используя ее для решения всех задач по детекции, — слишком затратно. Поэтому вначале используются классификаторы на определенные виды оставшейся дефектовки и структуры текста, затем применяются сети по определению компоновки документа, далее уже легкие узконаправленные сети решают свои задачи: одна — распознавания очищенного фрагмента с текстом, другая — определения шрифта, языка и т.д.

Ключевой шаг после распознавания — понимание контекста. Система должна определить в документе те атрибуты, которые будут в дальнейшем использоваться в определенных бизнес-процессах: бухгалтерии, логистике, юридической службе и т.д. То есть на изображении начинается поиск определенных ключевых слов: сумм, дат, номеров контейнеров, заказов, договоров. Если документ структурированный (например, паспорт), систему можно настроить на проверку определенных областей. Если неструктурированный — она будет искать нужные сведения по всему тексту, изучая каждое слово.

В дальнейшем распознанные атрибуты возможно анализировать дополнительно, формируя комплекты документов, актуализируя и сверяя данные с информационными ресурсами, а также полностью или частично переносить их в другие системы. Для этого также справедливо использовать как алгоритмику и правила, так и языковые модели. Задав нейросети грамотный промпт, есть шанс получить качественный ответ.

Таким образом, уже сейчас технологии OCR могут полностью или частично автоматизировать рутинные процессы, связанные с обработкой информации в документах самых разных категорий: деловые бумаги и нормативные акты, этикетки, строительные чертежи, судебная документация и многое другое. Наибольшую пользу они приносят в связке со смежными системами — например, с CRM и электронным документооборотом.

Перспективы инструментов распознавания

Все движется к тому, что с расширением возможностей технологий искусственного интеллекта OCR-системы полностью трансформируются или сольются с целевым понятием ИИ, наделенным первоклассным зрением, аналитическим умом и тонким слухом. Главный сдерживающий фактор на пути — недостаток вычислительных мощностей, к тому же существующие дата-центры потребляют колоссальное количество энергии и крайне дороги в обслуживании.

Проблема решается несколькими способами. Производители микроэлектроники вроде Intel, AMD, NVIDIA выпускают процессоры, адаптированные под задачи ИИ, но на данный момент стоимость их очень высока, а мощность по-прежнему недостаточная, несмотря на то, что некоторые показатели новинок впечатляют. Разработчики нейросетей пытаются оптимизировать свои системы, делая их доступными для более слабого «железа». Это «приземляет» текущие сети, но не приближает их к целевому понятию ИИ. Крупный бизнес занимается оснащением мощных дата-центров, а рядовые пользователи и небольшие компании (например, дизайнерская студия или контент-менеджер) могут рассчитывать на облачные сервисы для доступа к нейросетям по модели подписки.

Однако полноценный прорыв в массовом использовании технологий на основе искусственного интеллекта, в том числе выход на новый уровень систем OCR, будет возможен только с развитием квантовых и биокомпьютеров. Соответствующие наработки уже мелькают в новостных сводках и обзорах. В момент, когда квантовые технологии станут массово доступными, мы, скорее всего, и обретем ту самую «волшебную кнопку», позволяющую пользователю дать системе какую угодно интеллектуальную задачу и получить качественный результат. Хотя, конечно, это перспектива дальняя.

Автор — Виктор Горюнов, директор продукта SOICA компании SL Soft

Место ИТ-службы в организационной структуре и зоны ее ответственности в вузах сильно разнятся: ИТ может быть самостоятельным подразделением или связанным с финансово-экономическим блоком, далеко не всегда очевидно, кому оно подчиняется и отвечает ли за информационную безопасность. А вот проблемы у всех вузов по большому счету одинаковы и сводятся к ограниченности ресурсов: финансирования и кадров. Участники стрима «Образование», организованного сообществом цифровых управленцев «я-ИТ-ы», обозначили ряд болевых точек для ИТ-руководителей учебных заведений.

Бессмертный «зоопарк»

«Зоопарк» слабо интегрированных или вообще не связанных между собой программных продуктов, с которым бизнес активно боролся много лет назад, сегодня, похоже, наиболее характерен именно для вузов. Разносортный софт, которым пользуются деканаты и бухгалтерия, личные кабинеты студента и работодателя, расписание, рабочие приложения ректора, система управления учебным процессом (LMS) — все это надо увязывать. И нельзя сказать, что в этом направлении ничего не делается.

Как рассказал начальник управления информационных технологий, связи и информационной безопасности Омского государственного университета Сергей Барановский, цифровизация ОМГУ начиналась с самописных систем. «Но в 2020 году нас постигла катастрофа масштаба: замена каждого следующего сервиса требовала все большей трансформации существующей инфраструктуры, — поделился он. — С той поры мы начали радикально все менять, упорядочили самописные системы и положили в основу понятные платформы».

На проблему «зоопарка» обратили внимание и регуляторы, наметив движение в сторону типовых облачных ресурсов. Так, был запущен проект по типовым облачным ресурсам для вузов Донбасса, включающий операционную систему, офисный пакет, LMS и прочее. Кроме того, в этом году ожидается перезапуск проекта по созданию типового рабочего места под эгидой Минцифры и Минобрнауки, так что в небольших вузах остроту проблемы, возможно, удастся снизить.

А вот тема совместной разработки или обмена уже созданным ПО как средства борьбы с «зоопарком» на рабочем месте буксует, и понятно почему. Во-первых, вузы конкурируют за бюджеты, за абитуриентов «высокобалльников» и «олимпиадников» по всей стране. Поэтому помогать разрабатывать решения конкурентам готовы далеко не все. Во-вторых, внутреннее решение развивается под требования внутреннего заказчика, а у следующего заказчика будут иные идеи. Вырвать любую инхаус-разработку из существующей инфраструктуры конкретной организации и куда-либо перенести — сложнейшая задача. В-третьих, даже передав свои наработки безвозмездно, поддерживать их в другой организации бесплатно никто не будет. Тиражирование внутреннего решения требует серьезного уровня партнерства, командной работы. Отнюдь не каждой организации под силу повторить опыт создания «ЛОГОСа», разработанного в контуре Росатома для внутренних нужд, но превращенного в рыночный продукт.

Дорогая безопасность

Затронули участники обсуждения и весьма деликатный вопрос о жизни на два компьютера, один из которых «нормальный», а другой — аттестуемый для обработки персональных данных (ИСПДн). Общее мнение — лучше даже не задавать лишних вопросов о том, как вообще это устроено.

Еще один тонкий момент: вуз не имеет права хранить персональные данные студентов после окончания обучения — эти данные нужно перенести в архив, либо обезличить, либо уничтожить. Об это правило спотыкается организация эффективного взаимодействия с работодателями. Например, в МАИ создали цифровую кадровую платформу, чтобы пристраивать своих выпускников. Но, во-первых, на эти цели персональные данные не собирали, и, во-вторых, самые интересные работодателю студенты — выпускники, данные которых как раз и требуется убирать. МАИ должен готовить кадры, прежде всего, для авиационной промышленности и авиационно-ракетной отрасли. Однако ОАК, Ростех, Роскосмос и ОДК не могут конкурировать по стартовому уровню зарплаты для новичков с тем же «Яндексом». Поэтому кадровая платформа, где можно размещать вакансии, которые видят студенты, для них очень актуальна, подчеркнул Федор Васильев, заведующий кафедрой «Цифровые технологии и информационные системы» Московского авиационного института. Что касается вопроса, зачем государству готовить специалистов, которые потом уходят на свободный рынок, по его мнению, ответ прост: человек, который работает в условном «Яндексе», приносит государству налогов в разы больше, чем человек, работающий на авиационном заводе.

Федор Васильев: «Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет?»

Обеспечить себя ИТ-специалистами высокого уровня для вузов тоже серьезная проблема. «Как затащить топ-айтишников в любую компанию, если это не «Сбер» и не «Яндекс», это большой вопрос», — обозначил проблематику Васильев. Возможность вырастить собственные кадры из студентов не спасает «кузницу кадров» от катастрофического кадрового голода. Сегодня вузам нужны любые ИТ-специалисты, которые способны самостоятельно и качественно решать различный спектр задач.

Помимо требований к защите персональных данных, еще один огромный ИБ-айсберг норовит потопить вузовские ИТ: по умолчанию вузы являются объектами критической информационной инфраструктуры с соответствующим уровнем требований к защите. Нелегальный доступ или модификация информации в объекте критической инфраструктуры является уголовным преступлением. Поэтому с «закручиванием гаек» и выходом новых нормативных актов, связанных с удаленным подключением, ИТ-службы вынуждены закрывать возможности удаленного доступа к системам учреждения, резко ухудшая таким образом качество сервиса. Если раньше сотрудники финансово-экономического управления и бухгалтеры могли работать удаленно, а преподаватели могли из дома делать рабочие программы по своим дисциплинам, учебные планы, смотреть результаты работы студентов, то теперь это можно делать исключительно с аттестованного компьютера на отечественной операционной системе. Ключевым сотрудникам стараются сохранить возможности для удаленной работы, но решение этой проблемы требует затрат, отметил Барановский. Для удаленного доступа на рабочем месте должны быть типовое программное обеспечение и средства защиты информации. Однако для рядового сотрудника нельзя купить за бюджетные деньги ноутбук с характеристиками лучше установленных, и потратить на него выше установленной суммы — тоже нельзя. Между тем купить ноутбук со всеми средствами защиты за установленную нормативом сумму просто невозможно, отметили участники дискуссии.

«Буржуйское», но сейчас, или свое, но потом?

Государственные вузы сегодня должны заменять иностранное ПО, в том числе операционные системы и офисные приложения, на российское. Но, помимо этого, есть еще один серьезный вопрос, связанный с импортозамещением: чему учить студентов? Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет? И какие операционные системы, средства проектирования и прочие решения тогда устанавливать в компьютерных классах?

«Нам уже сейчас нужно готовить студента, который через 4-6 лет выйдет на предприятие и будет работать на том программном обеспечении, которое там будет использоваться», — говорит Сергей Попов, проректор по цифровизации МАИ. Только как обучить продукту, которого еще нет?

Сергей Попов: «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью»

Разумеется, в крупных холдингах есть представление о том, на каком софте они будут работать через несколько лет, существуют дорожные карты по разработке ПО, в том числе в рамках индустриальных центров компетенции. Но сами продукты еще не готовы. «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью в части разработки стратегии импортозамещения на предприятиях», — считает Попов.

Пока же остается в запасе классический тезис, что вузы не учат конкретным инструментам. «Все-таки конкретные инструменты — это ремесло, а мы — про образование», — заметил Васильев. Поэтому студенты знакомятся с разными программными инструментами, но основное что дает вуз — базовая теория. Правда, работодателей возврат к такой установке вряд ли обрадует.

Для Президентской Академии РАНХиГС импортозамещение сейчас не самая критичная задача, тем не менее, ее решением занимаются. И Р7, и «Мой офис» уже давно включены в программы обучения, на которых учат всех чиновников. «Что касается внутренних систем, то в апреле, когда Microsoft заявила, что уходит из России в соответствии с пакетом новых европейских санкций, для нас это был хороший повод, — рассказал Павел Клепинин, проректор по информационным технологиям и цифровой трансформации Президентской Академии РАНХиГС. — И мы через пять дней перевели наших пользователей на сервисы «Яндекса» — почту, календарь, диск и мессенджер». Все встречи и рабочие совещания теперь проводятся в сервисе «Яндекс.Телемост», а дистанционный процесс обучения и в гибридном формате — через «МТС Линк». Смена любой системы — всегда стресс и нужно с ним работать. В управлении изменениями есть множество инструментов, как этот стресс снять и сделать людей сторонником изменений. При переходе большое внимание было уделено именно этому компоненту. Нужно обязательно транслировать опыт воздействия на сотрудников.

«ИТ-ночь на Ивана Купала» — традиционная встреча цифровых управленцев, с которой начинается отсчет очередного года сообщества «я-ИТ-ы», прошла насыщенно и плодотворно. Съехавшиеся со всех концов страны ИТ-руководители обсуждали интересные исследования и кейсы, делились полезным опытом, разбирали свои ошибки и тренировались в управленческих поединках. «я-ИТ-ы» активно растет и развивается: каждый день в сообщество добавляется один новый ИТ-управленец, сообщил один из учредителей сообщества «я-ИТ-ы» Павел Клепинин.

В числе обсуждаемых ИТ-директорами тем снова актуализировались вопросы эволюции роли ИТ-подразделений и необходимости ИТ-бизнес-партнеров. Согласно исследованию «Монитор технологий» компании РДТЕХ, в 28% компаний, опрошенных в прошлом году, ИТ-подразделение – это основной драйвер цифровой трансформации. При этом 48% ресурсов ИТ-подразделений направлено на разработку цифровых продуктов и сервисов.

Павел Клепинин: «Каждый день в сообщество добавляется один новый ИТ-управленец»

Некогда модный тренд на превращение ИТ-руководителей в ИТ-бизнес-партнеров так и не стал доминирующим, но и не растворился совсем. Как рассказала Людмила Трофимова, директор по цифровому развитию Президентской Академии РАНХиГС, опрос резидентов сообщества «я-ИТ-ы» подтвердил предположение, что массового появления ИТ-бизнес-партнеров не наблюдается, поскольку результаты запуска этой активности не стабильны и больше зависят от личных особенностей конкретного исполнителя, чем от системно выстроенной работы ИТ-бизнес-партнеров. Тем не менее, у 40% опрошенных в компании есть либо выделенная должность, либо роль ИТ-бизнес-партнера. Причем лидируют роли, связанные с глобальным развитием ИТ-функции и формированием отношений с заказчиком. ИТ бизнес-партнер – это специалист, который умеет вести диалог на уровне первых лиц компании/функции, обладает стратегическим видением и понимает взаимосвязь бизнес-задач с ИТ-решениями. По аналогии с семейным доктором он знает историю «болезни» своего бизнеса, персональные особенности, владеет полным «анамнезом», и его цель — упреждающе работать на сохранение «здоровья». Ключевые компетенции ИТ-бизнес-партнера явно связаны с цифровизацией бизнес-процессов: он должен знать бизнес-процессы функции и имеющиеся на рынке ИТ-решения, которые позволяют их автоматизировать, а также уметь инициировать и реализовывать необходимые проекты цифровизации. По мнению участников дискуссии на ИТ-Купале, наличие ИТ-бизнес-партнера ускоряет принятие управленческих решений, так как коммуникации входят в число его основных задач.

Людмила Трофимова: «Новые роли появляются тогда, когда влияние ИТ на эффективность бизнеса становится очень высоким»

Стать хорошим ИТ-бизнес-партнером способен далеко не каждый айтишник. Хорошо справятся с этой ролью бывшие ИТ-директора, бизнес-аналитики и бизнес-архитекторы, главные по развитию ИТ, проектные менеджеры. И совсем не подходят на эту роль ответственные за инфраструктуру, пресейлы, ИТ-архитекторы и аналитики данных. Подавляющее большинство респондентов считает, что ИТ бизнес-партнеры не нужны абсолютно всем компаниям и на появление этих позиций в оргструктуре в большей мере влияет масштаб холдингов.

В целом решающее влияние на появление новых ролей в ИТ оказывают не масштаб компании, ее зрелость, корпоративная культура или численность ИТ, а степень влияния цифровизации на эффективность бизнеса. Чем больше эффективность бизнеса зависит от ИТ-инструментов, тем сильнее это вынуждает ИТ-функцию эволюционировать, выстраивая новые эффективные модели работы.

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в 'скромные' 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

18 января «Ростелеком» и АНО «Цифровая экономика» представили тренды цифровизации на 2023 год, основанные на собственных аналитических отчетах. Эксперты компаний рассказали о своем видении развития цифровых технологий в России и мире.

Для «Ростелекома» исследование глобальных трендов цифровизации стало уже пятым по счету. Как отметил Борис Глазков, вице-президент по стратегическим инициативам «Ростелекома», несколько лет назад перед компанией встала задача актуализации стратегии. Требовалось понять, в каком направлении развивается научно-технический мир, и не зависеть в этом от западных аналитиков.

«Никакими человеческими ресурсами эту амбициозную задачу решить было невозможно. Мы не нашли ничего лучше, как заставить наш искусственный интеллект прочитать все научные статьи, патентные заявки, информацию о венчурных инвестициях и сделках в области ИТ», — рассказал Глазков. Казавшаяся изначально безумием затея оказалась удачной, и уже пятый год «Ростелеком» имеет объективную картину развития научно-технического мира. База исследования, изначально составлявшая 5 млн источников – профессиональных публикаций, уже охватывает более 117 млн источников. Это дает все более достоверные оценки. Глядя на созданную карту технологий, руководство компании оценивает, насколько находится «в тренде» и какие усилия следует предпринять в ближайшем будущем.

Глядя на созданную искусственным интеллектом карту технологий, руководство Ростелекома оценивает, насколько находится «в тренде» и какие усилия следует предпринять в ближайшем будущем

ИИ считает актуальным… себя

В рамках исследования для каждой технологии составляется интегральный рейтинг, включающий интеллектуальный вклад ученых – количество научных статей и патентов, а также объем инвестиций в нее. Бесспорным фаворитом этого своеобразного «чемпионата технологий» в последние четыре года является искусственный интеллект: помимо большого внимания, уделяемого ему, он вдобавок оказывает сквозное влияние на огромное количество других трендов. Среди сфер исследований, вызывающих наибольший интерес ученых, выделяется гибридное глубинное обучение (Hybrid Deep Learning), которое подразумевает объединение двух или более архитектур Deep Learning и обеспечивает более точные результаты, обучение на контрастных данных (Contrastive Learning), а также оптимизация выборок для обучения, в том числе с использованием синтетических данных.

Как отметила Ольга Сквирская, руководитель направления Центра стратегических инноваций «Ростелекома», за прошедший год на рынке искусственного интеллекта состоялось 24 крупных сделки объемом более 1 млрд долл. каждая. Впечатляют не только объемы инвестиций и научных работ, но и то, что результаты начинают находить активное применение на практике, причем зачастую в довольно неожиданных областях. Например, в Китае судьи обязаны консультироваться с искусственным интеллектом по каждому рассматриваемому делу, и в случае несогласия с его рекомендацией по вынесенному решению должны представлять письменное объяснение.

Ольга Сквирская: «Внешний рынок пока не слишком понимает, какая практическая польза может быть извлечена из метавселенных. Однако отмечаются гигантские инвестиции в это направление внутри самих платформ»

Среди других горячих тем, находящихся на пике интереса, в «Ростелекоме» выделяют информационную безопасность, здравоохранение и социальные сети.

Отдельно Сквирская выделила метавселенные – коллективные виртуальные пространства, созданные в результате слияния физического и цифрового мира. Триггером для бурного интереса к ним стала активность в этом направлении компании Meta (признана в России экстремистской организацией и запрещена. — Прим. ред.). Венчурные инвестиции в это направление пока невелики – это свидетельствует о том, что внешний рынок еще не слишком понимает, какая практическая польза может быть извлечена из метавселенных. Однако отмечаются гигантские инвестиции в это направление внутри самих платформ – например, Amazon, Microsoft и Apple.

Интересные изменения в рейтингах

Сравнение данных за разные годы показывает пути развития технологий – какие из них получили наибольший импульс развития и внедрения, а какие перешли в разряд аутсайдеров. По словам Глазкова, за теми, кто оказался «на обочине», следить не менее интересно: выясняется, что одни технологии появились раньше своего времени, а другие были вытеснены новым поколением решений. Например, из числа лидеров неожиданно выпала виртуальная реальность, и ее будущее сейчас под вопросом. «Перегретые» ожидания относительно нее явно не оправдались – не появилось ни дешевого и удобного оборудования, ни качественного контента. Блокчейн, напротив, пережил уже несколько кризисов, и сейчас снова резко поднимается в рейтинге. Можно говорить об очередном витке интереса к нему. Во-первых, это связано с ростом популярности технологии невзаимозаменяемых токенов (non-fungible token, NFT), которая сейчас более всего известна применительно к объектам цифрового искусства. На этот рынок выходят современные художники и известные аукционные дома, а в будущем NFT вполне способна стать основой правообладания в цифровом мире. Во-вторых, отмечается высокая активность национальных правительств по внедрению цифровых валют.

Мария Сайкина: «Возникают вполне ожидаемые вопросы относительно использования результатов работы генеративного ИИ, в том числе прав интеллектуальной собственности»

Интересные изменения отмечаются и среди стран-лидеров в области цифровых технологий — количество переходит в качество. Китай в последние годы обогнал США в интегральном рейтинге стран, став безоговорочным лидером по научным статьям и патентам в сфере цифровых технологий, а США сохраняет лидерство лишь по объему инвестиций. Отрыв двух лидеров от идущей на третьем месте Индии огромен, при этом разрыв между Китаем и США тоже значителен и равен показателю Индии. Россия в интегральном рейтинге занимает 14-е место. Среди других стран в «Ростелекоме» отмечают ощутимую динамику у Саудовской Аравии и Ирана, которые представляются интересными партнерами для технического сотрудничества.

Национальные особенности

Как отметил директор РАЭК Сергей Гребенников, экономика Рунета по итогам 2022 года вырастет на 24% (вместо ожидавшихся ранее 11%) и составит 11,8 трлн руб. Рынок ожидаемо просел в направлениях маркетинга и рекламы, а также контента, что связано с уходом с рынка западных компаний. Однако это падение с лихвой компенсировалось ростом рынка электронной коммерции, который окреп во время пандемии и сейчас готов к дальнейшему развитию.

Мария Сайкина, главный аналитик РАЭК, представила основные технологические и экономические прогнозы для российского рынка на 2023 год. Среди технологий она выделила пять основных направлений. Первыми двумя являются генеративный ИИ и технологии дипфейков, вызвавшие всплеск интереса и со стороны пользователей, и у инвесторов, и (что неудивительно) у регуляторов. Возникают вполне ожидаемые вопросы использования результатов работы ИИ, в том числе относительно прав интеллектуальной собственности, а также правомерности данных, используемых для обучения систем. Кстати, дипфейки, воспринимающиеся большинством людей исключительно негативно – как средство дезинформации, имеют и вполне «мирное» применение. На практике они широко используются в рекламе и при общении роботов с клиентами.

Кроме того, в нашей стране активно развиваются биометрическая идентификация и беспилотный транспорт. Интересно, что главным движителем этих технологий является государство, видящее в биометрии ценный инструмент для безопасности, а в беспилотниках – средство доставки грузов в труднодоступные районы. И, наконец, импортозамещение начало восприниматься как неизбежность. Если раньше оно было задачей госструктур и прочих субъектов критической информационной инфраструктуры, то теперь актуально не только для всех организаций, но и частных лиц. Очевидно, в этом году усилится разработка альтернатив для всех – даже пока доступных – технологий.

Для любой критической ситуации необходим план действий, который позволит с ней справиться. В этом году нам пришлось столкнуться с большим количеством сложностей — не только с санкциями как таковыми, но и с уходом с рынка известных поставщиков. Возникли большие проблемы с оплатой услуг и логистикой.

Ключевые риски, которым подверглись компании в области ИТ-инфраструктуры, и практические подходы по их снижению обсудили в ходе дискуссии «Модернизация инфраструктуры: срочно, качественно, недорого. Чему сегодня отдать приоритет?». Мероприятие состоялось в рамках форума «Цифровая инфраструктура — 2022», организованного издательством «Открытые системы» (см. также статью ««Цифровая инфраструктура 2022»: под флагом импортозамещения».)

Как известно, в тройке «срочно, качественно, недорого» совместимы одновременно только два критерия. Участники дискуссии признали, что скорость сейчас действительно важна: не случайно на инфраструктурном рынке резко вырос сервисный сегмент. Инфраструктура как сервис стала чуть ли не единственным вариантом, позволяющим обеспечить разумные сроки реализации проектов. Стоимость же, особенно если говорить о крупных компаниях, никогда и не была главным критерием.

«Никто не заставляет выбирать два из трех. Всегда речь идет о компромиссах, приемлемых для компании», — отметил Дмитрий Кузеванов, технический директор «Азбуки вкуса». Миграция в облака помогла ретейлеру сократить расходы на 20%, получить устраивающий SLA и ускорить реализацию проектов.

Не «замораживать» инфраструктуру

Чтобы сделать работу с рисками системной, требуется сформулировать угрозы и приоритизировать их, определив, какие компоненты инфраструктуры требуют повышенного внимания и быстрой замены.

Дмитрий Кузеванов: «Главный риск любого ретейлера — остановка сервисов, и компании уже несколько раз приходилось ‘переобуваться в воздухе’, чтобы поддержать работу бизнеса»

Как признал Кузеванов, главный риск любого ретейлера — остановка сервисов, и компании уже несколько раз приходилось «переобуваться в воздухе», чтобы поддержать работу бизнеса.

«Однажды мы проснулись и не увидели в почте ни одного нового письма, потому что Symantec отключил свои сервисы», — пояснил он на примере. Работа многих сотрудников компании заключается именно в коммуникациях с внешним миром: поставщиками, партнерами и пр. Эти люди просто не смогли выполнять свои функции. Похожая история произошла и с новейшими устройствами Cisco, управление которыми осуществлялось из личного кабинета. После ограничения доступа к личному кабинету из России они продолжили работу, но стали абсолютно неуправляемыми.

«Выключаются в первую очередь облака и подписки — сервисы, которые ежедневно запрашивают через Сеть разрешение на продолжение работы. Именно такие отключения представляют наибольший риск и в итоге причиняют заказчикам массу проблем», — констатировал Сергей Члек, управляющий директор «Росплатформы». Обновление же систем, установленных на площадке заказчика (например, платформ виртуализации), по его мнению, не столь критично. Да, вендоры ушли с рынка, но, по крайней мере, их продукты продолжают действовать. Подход «Работает — не трогай» зачастую безопаснее необдуманных решений.

Сергей Зинкевич: «В долгосрочной перспективе работа на неподдерживаемых платформах не приведет к успеху»

Тем не менее далеко не всегда можно жить спокойно, используя неподдерживаемые ПО и платформы. Есть уязвимости нулевого дня, да и риски от применения необновленных систем все равно остаются, хотя они и ниже, чем в случае устаревшего почтового сервера.

«Конечно, без обновлений стабильность инфраструктуры краткосрочно повышается, ведь обычно все проблемы, связанные с изменениями, находятся на стороне эксплуатации — инженеров и администраторов. Однако в долгосрочной перспективе работа на неподдерживаемых платформах не приведет к успеху», — считает Сергей Зинкевич, директор по развитию компании «Крок Облачные сервисы». Проблемы, возникающие в результате длительного бездействия, вполне могут перевесить пользу от заморозки ситуации. Поэтому следует разрабатывать стратегии постепенного перехода на системы, которые можно или поддерживать своими силами, или передать доверенному интегратору.

«Железо» с вражескими сервисами

Отдельная категория — это риски применения устройств, самостоятельно использующих для своей работы внешние системы управления. Проникновение облачных сервисов дошло до того, что современная система хранения данных не будет работать без подключения к Сети: ей нужно получать указания от внешнего разума, оптимизирующего данные и управляющего ими, — в противном случае устройство «окирпичивается». Компаниям приходится мириться с этим и надеяться на то, что их системы хранения не получат команду на уничтожение данных. Поведение оборудования, взаимодействующего с внешним окружением, должно включаться в модель угроз и учитываться в планах аварийного восстановления.

Как известно, нельзя построить доверенную систему на недоверенном железе. Как многие российские разработчики ПО, использующие компоненты open source, очищают их и складывают в свои репозитории, так и разработчики оборудования из реестра Минпромторга проводят реинжиниринг микрокодов на системных платах Intel, лишая его сомнительных возможностей.

Сергей Члек: «Вы даже не представляете, насколько сильно продвинулись российские производители серверов на Intel и AMD. Они выкорчевывают весь вражеский сервис вроде платформы удаленного управления и администрирования Intel vPro и оставляют процессорам лишь их профильные задачи»

«Вы даже не представляете, насколько сильно продвинулись российские производители серверов на Intel и AMD. Они выкорчевывают весь вражеский сервис вроде платформы удаленного управления и администрирования Intel vPro и оставляют процессорам лишь их профильные задачи», — подчеркнул Члек. Это позволяет существенно снизить риски.

«’Железо’ в стране есть. Его привозят различными путями, существует много каналов доставки. Исключение составляет разве что нишевое оборудование класса Hi-End», — рассказал Зинкевич. Конечно, к изменениям приходится адаптироваться, но такие проблемы не блокируют работу бизнеса. Другое дело, что вместо движения вперед, которого всем хочется, приходится решать задачи технического долга — реализовывать внутренние проекты, направленные на стабилизацию работы компании.

Как и в любое время перемен, гибкие команды получают преимущество. Крайне важно уметь подстраиваться под ситуацию, изучать новые технологии и продукты, выстраивать отношения с разработчиками. У тех, кто к этому не способен, возникает гораздо больше проблем.

«Помимо оборудования, доступны все виды инфраструктурного ПО: у проприетарных решений всегда были аналоги open source, и сейчас их популярность резко выросла», — отметил Зинкевич. Например, все, кто планировал проекты на Oracle, сейчас без проблем запускают их на PostgreSQL — компетенций на рынке вполне хватает.

Денис Сосновцев, директор по технологическим альянсам Arenadata, напомнил, что, помимо рисков, связанных с оборудованием, существует масса проблем, «спрятанных» внутри решений open source. Не все из них одинаково полезны, широко известны истории о различных закладках в них. «Некоторые из используемых нами продуктов в этом году занялись откровенным вредительством. Пришлось заняться чисткой собственного репозитория», — сообщил Сосновцев.

Члек подтвердил, что во многих случаях компании вынуждены переходить на open source, однако он считает, что взвешенный подход гораздо полезнее. Не стоит ударяться в крайности и заменять работающие системы на непроверенные, да еще и вводить их в промышленную эксплуатацию без тестирования.

Возможность проявить себя

«Пока мы не начнем целенаправленно заниматься разработкой собственных решений, мы не придем к удовлетворительному результату. Будущее рынка во многом зависит от пользователей. Нужно активно готовить замену импортным решениям, ставить перед производителями задачи и давать возможность проявить себя», — призвал Сосновцев. Он напомнил, что в 2014 году на прилавках магазинов практически не осталось импортных сыров. За несколько лет ассортимент удалось восполнить своими силами, и теперь можно констатировать, что качество российской продукции заметно выросло. Сейчас в ИТ сложилась аналогичная ситуация: огромное количество конкурентов ушло, освободив рынок. Это отличная возможность для наших производителей занять на нем достойное место.

Денис Сосновцев: «Будущее рынка во многом зависит от пользователей. Нужно активно готовить замену импортным решениям, ставить перед производителями задачи и давать возможность проявить себя»

Члек признал важнейшую роль реестра отечественного ПО в становлении «нового ИТ-рынка». В реестре есть продукты разной степени импортозамещенности, но все же он стал фильтром, позволяющим использовать не «дикий» open source, а продукты определенной степени очистки.

«Не стоит упрекать регулятора в бездействии. К ‘Росплатформе’ уже два раза предъявляли жесткие требования скорректировать определенные вещи», — заявил Члек. В этом году, впервые за шесть лет существования реестра, регулятор ощутимо «взялся» за дело: подтягивает качество продуктов, гораздо строже относится к их включению в реестр. Кроме того, нужно учитывать отзывы покупателей, сами по себе формирующие рейтинг продукта, и работу интеграторов, которые несут определенную ответственность за внедренные решения. Для компаний созданы все возможности не наткнуться на плохое решение: можно заранее получить о продукте необходимую информацию и протестировать его.

Можно ли эффективно использовать low-code для реализации процессов в крупном бизнесе? Эту тему обсуждали на круглом столе «Игра в low-code: зачем это нужно enterprise», прошедшем в рамках конференции LOW-CODE 2022, организованной издательством «Открытые системы» (см. также «LOW-CODE 2022: Польза неоспорима, но не панацея» и «LOW-CODE 2022: Актуальность платформ для 'гражданских' разработчиков растет»).

Как признал Всеволод Шадрин, руководитель развития продуктов Naumen Platform, выступавший модератором дискуссии, при внедрении low-code часто приходится пресекать саботаж пользователей. Несмотря на, казалось бы, очевидную пользу такого подхода, сотрудники все равно сопротивляются насаждению новых инструментов. Еще чаще приходится сталкиваться с тем, что внедрение таких платформ саботируют внутренние разработчики, создающие «правильные» решения. Кроме того, в ходе дискуссии обсудили еще несколько актуальных вопросов. Как проще и правильнее проверить бизнес-гипотезу: по-быстрому «накодировать» или реализовать процесс в low-code? И уж если в компании случился low-code, то кто должен играть главенствующую роль для успеха работы: аналитики или разработчики?

Гражданские разработчики и ИТ-партизаны

«Low-code — это не только инструмент, но и средство изменения сознания. У айтишников и бизнеса головы работают принципиально по-разному: одни живут в пространстве векторов, объектов и свойств, а другие — в пространстве денег», — отметил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». Перевод с одного языка на другой — наболевшая проблема, с которой сталкиваются почти все компании. Начиная жить в новом мире сложных конструкций, гражданские разработчики быстро приходят к пониманию того, что появление одной новой галочки в приложении может повлечь написание километров кода, то есть огромные доработки в унаследованных системах. Осознание принципов работы ИТ — очень важный результат усилий гражданского разработчика. До сих пор таких возможностей у бизнеса было мало.

Владимир Анисимов: «Осознание принципов работы ИТ — очень важный результат усилий гражданского разработчика. До сих пор таких возможностей у бизнеса было мало»

Разумеется, есть и обратная сторона медали. Когда бизнес приходит с запросами к ИТ, то часто слышит, что сделать это невозможно, долго или дорого. Однако уже реализованное low-code-решение перевести в продуктив гораздо проще. Именно поэтому роль low-code в современном бизнесе будет только расти.

«Без сомнения, low-code очень хорош для быстрого решения проблем, когда требуется буквально за несколько дней из подручных средств собрать и запустить какой-либо продукт. И по мере своего взросления low-code будет занимать все большее место в создании приложений», — уверен Дмитрий Калаев, директор акселератора ФРИИ. Популярность low-code растет — это бесспорно, причем в крупном бизнесе гораздо больше возможностей для его использования. Конечно, он не подойдет для решения всех корпоративных задач, но его применение может стать полезным для значительного числа перспективных направлений.

«У любого сотрудника есть поток задач. И чтобы с ними справиться, ему нужны компетенции и доступный инструментарий. Человек всегда зажат между скоростью потока задач и интенсивностью его обработки», — считает Станислав Фридкин, руководитель управления товародвижения и планирования компании Sunlight. Low-code — один из инструментов, с помощью которых люди могут выстроить свой рабочий процесс. У специалистов появляется выбор: либо по-прежнему абсолютно непрозрачно работать в электронных таблицах, либо выстроить процесс и добиться его прозрачности, попутно сняв с себя часть рутины и сократив трудозатраты. Не менее важен и другой аспект: когда визуально выстроена последовательность из квадратиков со стрелочками, всегда можно без труда точно повторить процесс.

«Low-code был и раньше. Лет пятьдесят назад могло бы быть точно такое же обсуждение: айтишники, писавшие программы для больших ЭВМ на ассемблере, презирали Фортран, который являлся языком высокого уровня (то есть был low-code по сравнению с ассемблером) и давал ученым возможность быстро делать расчеты», — напомнил Леонид Головин, советник генерального директора по цифровой трансформации «Газпромтранса».

Леонид Головин: «Low-code был и раньше. Лет пятьдесят назад могло бы быть точно такое же обсуждение: айтишники, писавшие программы для больших ЭВМ на ассемблере, презирали Фортран, который являлся языком высокого уровня (то есть был low-code по сравнению с ассемблером) и давал ученым возможность быстро делать расчеты»

По мнению Головина, для успешного развития подходов low-code компаниям нужен прогрессивный ИТ-директор, который правильно оценит место и роль такой платформы, выделит для нее песочницу в своей компании, договорится с «безопасниками», предоставит необходимые инструменты и мощности, проведет обучение и привлечет «партизан» — гражданских разработчиков, которые будут резвиться в песочнице. Лучшее из созданного ими может стать техническим заданием, на базе которого можно разрабатывать серьезные решения.

Возможно, ИТ-директор должен действовать в тандеме с директором по развитию или инновациям. Именно так можно обеспечить правильную работу с гражданскими разработчиками.

Впрочем, как предположил Фридкин, ИТ-директор может и не знать, над какими проблемами бьются эти партизаны и какими средствами пытаются их решить. Аналогия с партизанами возникает не случайно: зачастую пользователи вынуждены скрывать свои разработки, чтобы не получить по рукам. «Мне приходилось видеть такие ситуации не только в наших, но и в зарубежных компаниях. Попытки делать собственные инструменты воспринимаются как проявление агрессии по отношению к корпоративным системам и могут иметь дисциплинарные последствия», — рассказал Фридкин.

Между жадностью и страхом

Почему внутренние разработчики противостоят внедрению low-code? Они ведут себя как снобы или просто больше знают и поэтому настроены скептически?

«Low-code по идеологии ближе к микросервисной архитектуре. Но в большинстве компаний до сих пор используются монолиты. Встраивать в них доработанные кусочки всегда долго, дорого и трудно, потому что после доработки систему приходится тестировать полностью», — пояснил Анисимов. Именно это и вызывает основное сопротивление: как только создан работающий прототип и встает речь о его внедрении, у разработчиков появляется очередная головная боль. В компании с микросервисной архитектурой это воспринимается гораздо проще. Однако, по мнению Анисимова, другого пути нет. Low-code на данный момент является единственным способом быстрой проверки бизнес-гипотез.

Как считает Калаев, реакция некоторых программистов объяснима: они действительно боятся остаться без работы. Вторая причина — психологическая: автоматически сгенерированный код вполне может быть неоптимальным, в нем нет красоты и изящества. И даже если забыть про потребляемые ресурсы, профессионала это может бесить. Однако на бизнес такой аргумент совершенно не действует: человеко-час дороже, чем потребленные гигабайты.

Станислав Фридкин: «Рынок — это всегда баланс между жадностью и страхом. Неизвестность и страх потерять что-то, давшееся большим трудом, всегда будут создавать много проблем»

Фридкин напомнил, что рынок — это всегда баланс между жадностью и страхом. Если экстраполировать такой подход на внутренний рынок компаний, где продаются и покупаются проекты, то неизвестность и страх потерять что-то, давшееся большим трудом, всегда будут создавать много проблем.

«Поспорю с тем, что настоящие программисты должны бояться лоукодеров. Скорее, лоукодеры должны бояться за себя», — заявил Головин. Еще два года назад нейросеть DALL-E, рисующая изображения по их текстовому описанию, казалась чем-то фантастическим. А сейчас таких систем уже много, и в результате дизайнеры начинают терять работу. Вполне вероятно, что через несколько лет введенной фразы с описанием желаемого результата будет достаточно для того, чтобы искусственный интеллект предложил готовый прототип системы. Бизнес-руководители будут аплодировать, и никакие гражданские разработчики уже не потребуются. Самым ценным сотрудником станет тот, кто знает, что ему нужно, и способен это сформулировать нормальным языком.

Обойтись без low-code?

«Сейчас почти все выпускники вузов и даже школьники знают Python и не горят желанием изучать другие варианты. У этого языка достаточно большие возможности, и проверить с его помощью гипотезу вполне возможно, даже если код не выдерживает критики», — утверждает Анисимов. Сторонники других языков относятся к Python практически как к low-code. По мнению Анисимова, сейчас сложилась неоднозначная ситуация. С одной стороны, подрастает поколение, владеющее настоящим языком программирования, и им инструменты low-code не слишком нужны. С другой стороны, для разработки на Python все равно требуется довольно большое время. Предлагая пользователям какой-либо инструмент, важно четко понимать их потребности.

«В скорости low-code точно выигрывает, но мы платим за это ограничением возможностей. По моим ощущениям, экономия времени составляет около 20–30%», — оценил Анисимов.

Дмитрий Калаев: «Исходя из моей практики, вручную можно проверить 80% гипотез. Еще 15% имеет смысл проверять с помощью low-code, а еще 5% — лишь полноценным программированием»

Калаев уверен, что с точки зрения проверки бизнес-гипотез идеальный вариант — не программировать вовсе. Некоторые из гипотез можно проверить в буквальном смысле вручную: с ручкой и бумагой. «Исходя из моей практики, вручную можно проверить 80% гипотез. Еще 15% имеет смысл проверять с помощью low-code, а еще 5% — лишь полноценным программированием», — отметил Калаев. Конечно, проще всего пользоваться привычным инструментом, а подумать и понять, как решить задачу проще, — отдельный навык изобретателя.

Как утверждает Калаев, команда, проверяющая гипотезы, обходится в 15–20 млн руб. в год. В зависимости от ее навыков и вида гипотез, она может проверять одну гипотезу в год, квартал или даже неделю.

Фридкин также призывает осмотрительно подходить к выбору инструментов и не бросаться в гонку за модой. Люди как-то работали и до появления программирования как массового явления в нашей культуре и бизнес-практике. Если появилось много современных инструментов, это не означает, что задачи нужно решать именно с их помощью. Есть масса компаний, способных решать многие задачи с помощью «мозгового штурма» — почему бы им не пользоваться, особенно на начальных этапах проектов.

Каждому свой инструмент

«Применять low-code или нет, должен решать бизнес, который больше всего в нем заинтересован. У аналитиков все и так неплохо, у разработчиков — еще лучше. А вот у бизнеса голова болит всегда», — объяснил Анисимов. Именно бизнес диктует требования к проверке гипотез на цифрах, и у него нет времени вставать в очередь на проверку, чтобы узнать, работает очередная идея или нет. А прототип, разработанный на low-code, позволяет не только оценить эффективность, но и «пощупать» созданное решение — это главный плюс такого подхода.

«Когда приходят бизнес-заказчики и требуют реализовать какую-то функцию, разработчики и аналитики испытывают лишь психологический дискомфорт. У них есть свои задачи, а главное — они все равно получат свои деньги», — иронизирует Калаев. А для бизнеса разработка новых приложений — это вопрос выполнения годовых показателей эффективности и получения премий.

Головин согласился с тем, что low-code как инструмент прототипирования более востребован у людей, работающих в бизнес-подразделениях, чем у системных аналитиков и разработчиков. Более того, он уверен, что low-code для ИТ-служб — очевидное зло. «Это все равно что предложить компании, которая строит здание, использовать алебастровую замазку. У нее есть свои инструменты и свои регламенты. А замазка — это скорее для тех, кто создает рядом киоск быстрого питания, чтобы быстро решить проблему с едой для строителей», — сказал Головин.

В итоге дискуссии эксперты сошлись во мнении, что каждому необходим свой инструмент: бизнесу — платформы low-code, а айтишникам — «нормальные» средства разработки. На данном этапе подход low-code, так же как некоторое время назад Agile, позволяет небольшими шагами прийти к тому, чего хотят бизнес-пользователи. Именно поэтому он стал так популярен.

В октябре издательство «Открытые системы» объявило о запуске Data Award 2023 — пятого сезона премии для data-driven-организаций и директоров по данным. Николай Смирнов, председатель оргкомитета премии Data Award, поговорил с нами о «кухне» проекта, рассказал о развитии премии и дал несколько рекомендаций будущим участникам.

- Только что стартовал очередной сезон премии Data Award. Что вы ожидаете от него?

Вероятно, изменится «типичный портрет» участника. Еще на церемонии 2022 года Лариса Малькова, управляющий директор Axenix и один из членов экспертного совета Data Award, отметила, что ей крайне любопытно, с какими проектами компании выйдут в следующем году. Многие из представленных тогда решений являлись наработками прошлых лет и были начаты еще в относительно спокойное время. Сейчас практически все столкнулись с уходом с рынка зарубежных вендоров, на решениях которых базировался ландшафт работы с данными. Компании вынуждены на это реагировать.

Кроме того, с каждым годом у нас все больше инновационных проектов, представленных небольшими стартапами, в том числе имеющих социальную направленность. Представившие свои проекты «Велогород.online», «Атлас НКО», Joys на равных соперничали с такими гигантами, как «Сбер», «Северсталь» и X5. Скорее всего, эта тенденция сохранится и сейчас. Благодаря значительной господдержке подобных инициатив мы имеем возможность видеть, что в мире действительно много энтузиастов, пытающихся делать жизнь людей лучше.

- Каждый год происходят неожиданности. Что стало сюрпризом в прошлом году и какие эмоции это вызвало?

Нас удивило беспрецедентно большое число заявок на участие, причем подавляющее большинство из них пришли в течение последних трех суток перед дедлайном. В результате мы были вынуждены на ходу ужесточать отбор, и из 87 участников допустили только 60. Но даже это число в полтора раза больше, чем в предыдущий год, и такой объем работы проверил нас, как оргкомитет, на прочность, а экспертный совет — на терпение.

Несмотря на все трудности, мы были рады такому интересу со стороны data-сообщества. Интерес к премии Data Award с каждым годом увеличивается, она становится престижной. И даже сам статус участника растет.

- Чего нового можно ожидать участникам и их болельщикам в новом сезоне?

У нас появятся две новые номинации с рабочими названиями «За антикризисный проект» и «За взгляд в будущее». Первая посвящена борьбе с напастями 2022 года, а вторая — проектам на грани сумасшествия, нескольким из которых нам пришлось отказать в прошлый раз. Например, так произошло с томской компанией «Орграф», представившей проект реализации цифрового бессмертия человека. Мы отклонили их заявку по причине отсутствия хотя бы MVP продукта, но, вероятно, у них будет возможность рассказать о себе в этом году.

- Кому имеет смысл принимать участие в конкурсе?

У нас нет жестких ограничений по направленности проектов, их масштабам и значимости. Главное требование — наличие результатов, готовность о них рассказать и поделиться с сообществом своим опытом. Конечно же, чем ярче и необычнее проект, тем выше вероятность того, что он зацепит членов экспертного совета. Скажем, компания «СМАРТС», построившая систему акустического мониторинга автодорог, позволяющую в режиме реального времени «слышать» дорожные события и реагировать на них, оказалась в числе лауреатов Data Award 2022 именно из-за этого.

Кроме того, важно, чтобы проект представлял профильный руководитель, способный полноценно и интересно рассказать о нем, а не сотрудник отдела маркетинга или пресс-службы. Члены экспертного совета, оценивая номинантов, ориентируются не только на саму заявку, но в первую очередь на интервью, да еще и могут задавать дополнительные вопросы. А эксперты — как и журналисты — люди опытные, они сразу понимают, кто с ними разговаривает: фактический лидер проекта или специалист по коммуникациям. Нам нужны настоящие герои, а не их парадные портреты.

Поскольку премия учреждена медиакомпанией, в выигрыше неизменно оказываются те, кто не только реализуют суперпроекты, но и рассказывают о них, популяризируя профессию. В прошлом году были обидные эпизоды, когда в ситуации цейтнота или просто из-за недостаточного внимания к этой части работы, формального к ней отношения очень сильные заявки оказались смазанными. Фактически они стали холостыми выстрелами.

- Может ли один и тот же проект участвовать в нескольких номинациях?

Да, это вполне возможно. Но практика показывает, что реальные шансы на успех компания имеет лишь в какой-то одной номинации. Имеет смысл оценить свои сильные и слабые стороны и представить проект так, чтобы он максимально соответствовал критериям оценки той номинации, где шансы наиболее велики.

- «А судьи кто?»

Мы гордимся нашим экспертным советом, костяк которого с нами уже пятый год. Это действительно компетентные профессионалы высокой квалификации, хорошо известные на рынке люди, которые вносят большой вклад в развитие отрасли данных в России.

- Есть ли лайфхаки, которые могут поднять шансы на победу?

Во-первых, еще раз повторю совет сфокусироваться на какой-то одной номинации. «Осознанные» участники, четко представляющие, по какой номинации идут, и понимающие, каким образом надо подать свой проект, по определению имеют преимущество.

Во-вторых, рекомендую серьезно отнестись к заполнению анкеты участника. Она не используется напрямую при оценке номинантов, но становится фундаментом для интервью, которое и является «конкурсной работой». Само интервью, конечно, играет ключевую роль. Чем более живыми и интересными будут ответы, тем больший отклик оно найдет у экспертного совета.

И наконец, не тяните до дедлайна! Чем раньше подана заявка, тем больше внимания оргкомитет и эксперты смогут уделить ей — это объективная реальность. И чем больше времени на подготовку интервью и на его внимательное прочтение, тем больше шансов на высокую оценку.

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

Опытом преодоления кризиса поделились представители ряда компаний: «М.Видео-Эльдорадо», «Лента», «Интер РАО-Онлайн», «Тинькофф» и «К-Скай». (Еще одной актуальной теме — самообслуживанию — посвящен отдельный материал, см. статью «'Управление данными — 2022': На прямой связи с данными»).

Перестройка трансформации

Кризис застал «М.Видео-Эльдорадо» в разгар погружения в цифровую трансформацию. В компании шел процесс ликвидации границ между бизнесом и ИТ. Все бизнес-подразделения имели собственные бюджеты на разработку. Директора по продуктам и технические директора решали задачи в каждом бизнес-домене, а разработчики создавали инструменты, чтобы автоматизировать именно бизнес-процессы подразделения. Дата-офис поддерживал своими компетенциями разработку продуктов бизнесом и развивал платформу данных, методологию Data Governance и инструментарий машинного обучения. При этом cтруктура дата-офиса была очень прозрачной с точки зрения бюджетирования — было легко оценить стоимость каждого продукта, рассказал Данила Наумов, директор офиса больших данных «М.Видео-Эльдорадо».

Данила Наумов: «Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции»

Новая реальность привела к резкому сокращению бюджетов, и недостатки дорогой матричной структуры продакт-менеджмента стали критичными. Стало не хватать специалистов для создания полноценного конвейера данных по каждому продукту в каждом домене: было трудно полностью закрыть весь список задач.

Поэтому уже летом десять бизнес-доменов свернули в три, что позволило выстроить внутри каждого из них отдельные конвейеры данных. Помимо них, существовал и централизованный — он мог принимать задачи подразделений, не имеющих собственного конвейера.

Были предприняты и другие важные стратегические шаги.

«Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции так, чтобы у команд были средства на решение задач как сервисов», — рассказал Наумов. Распределенный бюджет стали использовать по сервисной модели: кто угодно может попросить решить его задачу, но сделано это будет в рамках общих приоритетов. Установление очередности происходит в соответствии со стратегией бизнес-домена, что очень понравилось бизнесу. От момента введения задачи в систему до внедрения результата сейчас проходит 15 рабочих дней, и, по словам Наумова, это довольно хороший для отрасли показатель.

Таким образом реализуется урезанный вариант цифровой трансформации: в нынешних условиях она стала чересчур дорогой.

Благодаря и вопреки

В компании «Интер РАО-Онлайн» большинство проектов по управлению данными реализовано «благодаря и вопреки»: благодаря поддержке очень высокого уровня руководства и вопреки всей бюрократической машине. «Роль CDO, в которой я живу, — это роль лифта в космос, — объяснил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». — Одни читают DAMA DMBOK2, другие стоят «у сохи», и надо подружить эти две половины мира, чтобы что-то двигалось вперед». Для этой цели в компании создали службу заказчика, построенную по методологии Agile и стоящую особняком от ИТ- и бизнес-отделов.

Владимир Анисимов: «Роль CDO, в которой я живу, — это роль лифта в космос»

Еще один лайфхак энергетической компании — не бояться использовать обходные приемы решения ИТ-проблем. ««Костылизация» — часть нашей жизни, такой подход позволяет бежать быстрее, — констатировал Анисимов. — Большинство наших пилотных проектов, а затем и продуктов стоят на «костылях», которые мы вытаскиваем на протяжении 3–5 лет, и эти «костыли» достойно себя ведут».

Любимый «костыль» Анисимова — программные роботы. «Я предпочитаю ставить роботов там, где нет и не будет в ближайшее время интеграции по API, — отметил он. — Такой 'костыль' отлично выполняет свою задачу, на нем можно шагать долго и уверенно».

Гордость Анисимова — система автоматизированного взыскания дебиторской задолженности, интегрированная с набором внутренних сервисов компании и содержащая алгоритмы машинного обучения. Она строилась на зарубежных продуктах и сейчас мигрирует на отечественные решения — в частности, на low-code-платформу Loginom. Хранилище данных уже «съехало» с Oracle. Теперь и аналитику, которую до сих пор развивали на Oracle Analytic Server, переведут на open source и отечественные продукты. «Переход идет тяжело, — признался Анисимов, — так как ни одного BI-решения с полноценным самообслуживанием на внутреннем рынке пока не нашли».

Работа на результат

Что делать, чтобы работа дата-команд приносила пользу организации? Руководитель Data Science компании «Лента» Ирина Голощапова заострила внимание на бизнес-аспектах вывода моделей в продуктивную эксплуатацию. Это целая история по управлению изменениями, считает она. Недостаточно построить модель, способную повысить эффективность бизнеса. Нужно сделать так, чтобы люди эту модель использовали, включив ее в бизнес-процесс. «А для этого важно думать об интерпретируемости решения для конечного пользователя, — подчеркнула Голощапова. — Чтобы доверять результатам работы модели, он должен понимать, как она к нему пришла, как может меняться ее поведение в реальных условиях, как полученный результат можно использовать и почему». Для внедрения продвинутой аналитики в «Ленте» реализуют фреймворк Reliable ML, который позволяет учитывать как технические особенности машинного обучения, так и процессы работы дата-офиса и его взаимодействия с бизнесом для достижения максимального финансового эффекта.

По мнению Анисимова, оценить эффект удачного внедрения дата-проектов невозможно: все понимают, что «штука классная», но никто не может посчитать результат в рублях. Как только появляется первый прототип, рабочие процессы меняются настолько сильно, что сравнивать текущий и прошлогодний периоды просто бессмысленно. «Когда в момент внедрения менялись бизнес-процессы, мы, как служба квалифицированного заказчика, подменяли собой бизнес-подразделения: они слишком заняты операционной деятельностью, и объяснить им, что не надо таскать круглое и катать квадратное, невозможно. Старайтесь договариваться о качественной оценке эффектов», — посоветовал Анисимов.

Детективная история

Как в колоссальных объемах доступной для анализа информации найти именно то, что нужно для ответа на текущий вопрос? Огромное количество рабочих пространств, содержащих небольшие разрозненные кусочки контекста, бесконтрольно ведущаяся документация, качество которой остается на совести ее составителя, — вот проблемы, которые знакомы многим крупным организациям. Проведенные пару лет назад опросы сотрудников «Тинькофф» показали, что хранилище в текущем виде «непознаваемо для пользователей», а поиск метаданных — «искусство, которому нельзя научить».

«У вас могут быть отличные метаданные, но если у пользователя нет инструмента для доступа к ним, то, к сожалению, они бесполезны», — заметил Дмитрий Пичугин, руководитель группы управления данными «Тинькофф».

По примеру таких авторитетов, как Google, Linkedin и Uber, в «Тинькофф» решили бороться с неполнотой документации и разрозненностью информации с помощью каталога данных, который должен стать «единой точкой правды» для всей экосистемы данных и удобным инструментом поиска нужных сведений, но главное — средством анализа зависимостей при движении данных от источника к точкам их применения и обработки, что крайне необходимо для отслеживания происхождения ошибок.

Экосистема ИТ-решений «Тинькофф», по большей части самописных, — очень сложная, поэтому к гибкости модели метаданных предъявляются довольно высокие требования и обязательной опцией при выборе каталога должен быть Data Lineage. «У нас бывает анализ зависимостей на тысячу нод, а иногда и больше, — поделился Пичугин. — Если не дать аналитикам удобный инструмент, то, скорее всего, через некоторое время они уволятся, не выдержав этой пытки». Так как ни одно из представленных на рынке решений всем критериям компании не удовлетворяло, пришлось строить каталог самим. В его основу положили идею комфорта пользователей: искать данные не должно быть сложнее, чем товары в интернет-магазине.

Так появился Data Detective — каталог для неквалифицированных пользователей, способный, как утверждают его создатели, вписаться в любой ИТ-ландшафт. Несмотря на то, что ранее запущенные решения никуда не делись, 85% пользователей сегодня предпочитают новый каталог, и более половины из них — бизнес-пользователи. В дальнейшем в «Тинькофф» намерены распространять Data Detective за пределами компании. Помимо «полировки» интерфейса, в ближайшие планы разработчиков входит внедрение инструментов для удобного отображения бизнес-глоссария любой структуры.

Медицинские данные, заслуживающие доверия

Использование электронных медицинских карт (ЭМК) в качестве источника данных для анализа сопряжено с такими объективными сложностями, как отсутствие единых форматов хранения записей и использование неструктурированного текста. Но и это еще не все. Половина ЭМК (51%) вообще не содержат медицинских данных — это просто записи в базе с ФИО и датами рождения пациентов. А оставшиеся 49% зачастую содержат фрагментарные сведения, ценность которых для анализа сомнительна. Кроме того, длительность наблюдения пациентов в большинстве ЭМК не превышает трех лет, то есть вероятность наличия в них ценных для прогностического искусственного интеллекта находок очень низка.

Александр Гусев: «Мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать»

Кроме того, есть и важный субъективный фактор, который серьезно тормозит развитие интеллектуальных продуктов в медицине, — отсутствие доверия к сделанным искусственным интеллектом выводам, обусловленное недоверием к качеству данных, на основе которых делаются эти выводы. «90% времени наших исследований связано с данными. Именно работа с данными определяет провал или успех», — считает Александр Гусев, сооснователь компании «К-Скай», которая занимается предиктивной медицинской аналитикой на основе технологий искусственного интеллекта. Чтобы сломать лед недоверия к выводам на основе анализа данных медкарт, в «К-Скай» разложили все накопленные данные по типам, видам и источникам и оценили с точки зрения рисков возникновения ошибок. Выяснилось, что есть существенный сегмент данных, где риск недостоверности составляет менее 1%, — это протоколы инструментальной и лабораторной диагностики, рецепты. Более половины всех данных ЭМК, включая заполненные по шаблону протоколы врачебного осмотра и автоматически сгенерированные выписные эпикризы, попали в зону умеренного риска с вероятностью возникновения ошибки 1–5%. И лишь 5% данных — заключительные диагнозы, карты выбывших из стационара, талоны амбулаторного приема — находятся в зоне высокого риска с вероятностью ошибки более 5%. Таким образом, руководители, принимающие решения об использовании врачами систем-помощников, стали четко понимать, каким данным можно доверять, а какие ставить под сомнение.

Затем в «К-Скай» стали изучать причины возникновения аномалий в сырых данных, паттерны поведения врачей и даже оценивать влияние качества интерфейса ЭМК на полноту данных. «В итоге мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать», — сообщил Гусев.