Искусственный интеллект

По данным различных исследований, большинство российских компаний верит в пользу ИИ, но до реального внедрения доходит лишь около трети из них. Во многом это связано с высокой сложностью таких проектов и необходимостью менять процессы и регламенты. На этом фоне интерес бизнеса к ИИ смещается от абстрактных экспериментов к тем областям, где ИИ можно начать использовать в работе сразу после запуска. Один из таких контуров — документооборот.

Где ИИ реально работает в СЭД

ИИ сегодня уже стал частью большинства российских СЭД. Речь не об отдельной умной кнопке, а о полноценном интеллектуальном слое внутри систем. В его основе — языковая модель (LLM), дополненная RAG-подходом: перед тем как сформировать ответ, система подтягивает релевантные фрагменты из корпоративных документов — договоров, переписки, базы знаний — и отвечает уже с опорой на этот контекст. Поверх этого слоя реализованы прикладные сценарии. В отличие от внешних ассистентов, здесь ИИ действует в рамках корпоративных регламентов, поэтому пользователь работает не с абстрактным ответом, а с результатом, включенным в действующий бизнес-процесс.

Самый простой сценарий – подготовка документов. Руководитель или сотрудник формулирует задачу в интерфейсе — например, просит подготовить официальный ответ партнеру, — а система предлагает несколько вариантов текста, которые дальше можно дорабатывать, согласовывать, утверждать. Еще один сценарий — поиск информации. Вместо того, чтобы искать по папкам и фильтрам, сотрудник просто задает вопрос в СЭД, а ИИ помогает найти нужные документы или данные в контексте. Третий сценарий — постановка задач. Руководитель создает запрос в свободной форме, — система оформляет его по рабочему шаблону: уточняет цель, сроки и ожидаемый результат.

Роль-ориентированная аналитика документов: от вычитки к управлению рисками

В СЭД ИИ анализирует документы по-разному в зависимости от роли пользователя и стоящей перед ним задачи. Например, для юристов сразу выделяет ключевые риски: штрафы, сроки, обязательства, условия расторжения. Для финансовых директоров фокус смещается на суммы, графики платежей, возможные штрафы и влияние условий на бюджет и денежные потоки. Для руководителей ИИ собирает общую картину по массиву договоров: где концентрируются риски, какие документы выбиваются по срокам или условиям и где могут возникнуть проблемы.

За этими пользовательскими сценариями ИИ в СЭД стоит сложная внутренняя логика обработки документов. Именно она и дает эффект на масштабе — там, где объемы измеряются тысячами и десятками тысяч документов.

Экономика и масштаб

Практика внедрений показывает, что автоматизация обработки входящей корреспонденции с применением распознавания и интеллектуальной классификации может сократить время работы с одним документом с пяти до двух минут. В процессах с распоряжениями на вывод ИИ может уменьшить время обработки одного документа с 15 до 1,5 минуты. В работе с договорной и закупочной документацией интеллектуальное сравнение версий позволяет сотрудникам экономить до двух часов в день и перераспределять это время на другие задачи.

В одном из проектов при годовом объеме около 50 тыс. документов использование ИИ для первичной вычитки и аналитики дало эффект, сопоставимый с работой двух штатных единиц — без организационных изменений и снижения качества.

При этом система не становится полностью автономной. Например, в пилотах по подготовке ответов на обращения граждан ИИ сократил время подготовки черновика с 15 до 5 минут, однако около 13% ответов потребовали полной переработки, а средняя оценка качества составила 63%. То есть система ускоряет работу, но ответственность за итоговый результат остается у специалиста.

Таким образом, разговор об экономическом эффекте ИИ в документообороте никогда не сводится к сокращению людей. Главное, что получает бизнес, — возможность обрабатывать растущий объем документов без пропорционального увеличения нагрузки на ИТ и бизнес-подразделения. ИИ в СЭД позволяет компании расти по числу договоров, партнеров и операций без потери управляемости и резкого роста издержек.

Ограничения и условия внедрения: где проходят границы ИИ

Важно также зафиксировать границы применения ИИ в документообороте. Не потому, что технология чего-то не умеет, а потому что понимание этих границ делает внедрение устойчивым.

Первое и самое важное — ИИ не принимает решения. Он может помочь подготовить документ, подсветить риски, собрать информацию, ускорить анализ. Но юридические, финансовые и управленческие решения остаются за человеком. В корпоративных процессах это принципиально: ответственность никуда не уходит.

Второй момент — ИИ работает в рамках заданной логики и разработанных сценариев. Эти сценарии фактически описывают, какие параметры и аспекты документа должны анализироваться в каждой роли. Если они заданы слишком широко или отсутствуют вовсе, ИИ будет отвечать общими словами. Поэтому для ИИ в СЭД не так важны формулировки разовых запросов, как качественная настройка сценариев анализа.

ИИ работает с теми же документами и правилами, что и сотрудники. За счет этого он обнажает реальное состояние процессов. Он не способен компенсировать отсутствие структурированных данных, несогласованные процессы или противоречивые регламенты работы с документами. Если процессы выстроены правильно — положительный эффект заметен сразу, если нет – проблемы становятся виднее.

ИИ в СЭД как управленческий инструмент

На практике ИИ в документообороте перестает быть экспериментом ровно в тот момент, когда от него не ждут универсальных решений и отводят ему понятную роль — помощника в уже существующих процессах. Поэтому успешные внедрения ИИ в СЭД выглядят совсем не как технологический прорыв, а как аккуратное усиление управляемости: меньше ручной рутины, быстрее доступ к информации, выше предсказуемость на масштабе. Все остальное — вопрос зрелости процессов и того, насколько компания готова работать с ними осознанно.

Следующий этап — переход от отдельных ИИ-функций к ИИ-агентам, которые не только анализируют документ, но и инициируют цепочку действий: создают задачи, формируют проекты резолюций, запрашивают данные из смежных систем. Такой подход требует еще большей зрелости архитектуры и четкого разграничения ответственности между системой и человеком.

Автор — Полина Дуйкова, директор направления СЭД/ECM «Софтлайн Решения»

До 95% компаний в России и мире внедряют ИИ без необходимой отдачи и не окупают инвестиции. Об этом и самых распространенных ошибках говорится в исследовании «От пилота к масштабу: как встроить ИИ в процессы и получить отдачу», проведенном Школой управления «Сколково».

Первая причина провалов ИИ-проектов — неверный выбор формы и культуры работы с информацией. Исследование показало: успешность ИИ-проекта в компании зависит не от технологии, а культуры работы с получаемой информацией и принятием решений.

Если в компании новое решение считается обоснованным только после одобрения признанного эксперта — это people-driven культура. Если ключевым источником легитимности выступают регламенты: пока документ не обновлен, инновация не будет внедрена — это process-driven культура. Когда решающим аргументом служит эксперимент или результат анализа данных: если цифры подтверждают гипотезу, решение принимается без дополнительных «авторитетов» — это data-driven подход.

Эксперты выявили закономерность: от того, какая культура доминирует в той или иной организации, напрямую зависит, как компания внедряет новые технологии, в том числе ИИ. Анализ показал: компании с преобладанием культуры, ориентированной на данные (data-driven), успешнее внедряют ИИ, чем организации, полагающиеся на авторитет отдельных экспертов или формальное следование регламентам.

Вторая причина неудач — низкое качество и хаотичность исходных данных в компании. Если корпоративная система переполнена дублями, устаревшими файлами и несовместимыми форматами, а то даже лучшие алгоритмы не работают. Анализ показал: именно подготовка и стандартизация данных занимала во многих кейсах больше ресурсов, чем сама разработка модели. Вывод экспертов: без Data Story — общего для бизнеса и ИТ описания качества и доступности данных — риск провала резко возрастает.

Третий негативный фактор — стремление максимально автоматизировать все процессы и функции в компании. Исследование показало: попытки тотальной автоматизации чаще несут больший риск, чем эффективность, и приводят к провалам. Наибольший эффект достигается при грамотном сочетании режимов: ИИ усиливает или заменяет человека там, где это оправдано, а ключевые процессы остаются за людьми.
Авторы исследования выделили три ключевые когнитивные функции в работе организаций: распознавание, принятие решений и исполнение. Каждая из них может выполняться вручную, совместно с ИИ (аугментированно) или полностью автоматически. Но все их автоматизировать — ошибочно.

Четвертая причина — когнитивная дистанция и отсутствие взаимопонимания в коллективе компании. Эксперты выявили: причина большинства провалов ИИ-инициатив не в технологиях как таковых — не в «железе» и не в моделях, а в когнитивной дистанции – в том, как думают и разговаривают между собой участники проекта. Чем больше разрыв в языке и мышлении у топ-менеджеров, владельцев процессов и разработчиков, тем больше проекты буксуют из-за недоверия и срывов сроков.

При этом на пике популярности искусственного интеллекта многие компании запускают ИИ-проекты скорее ради статуса, чем ради результата.

Как подчеркивают аналитики, в этих случаях топ-менеджменту важно показать: «мы тоже в тренде», а разработчикам интересно протестировать новые модели. Пилот оказывается в плане в рекордные сроки, но ключевые бизнес-подразделения в процесс не вовлечены: их не спрашивают, какую задачу стоит решать, как измерять эффект и что будет считаться успехом. Дальше проект живет своей технической жизнью. Есть прототип, серверы работают, расходы учтены. Но поскольку бизнес-логика и пользовательский опыт остались без внимания, процессы внутри компании не меняются, клиенты не видят ценности и могут даже не пользоваться новым решением. Итог предсказуем: галочку «ИИ внедрен» поставить можно, но бизнес-пользы нет. Проект превращается в «технологическую витрину» — эффектную, но бесполезную.

Пятая причина неудач — внедрение ИИ-проектов без последующего регулярного анализа эффективности. Исследование выявило: проекты, где команды показывают результат короткими циклами (прототип - тест - обратная связь - улучшение), значительно устойчивее: быстрее выявляют ошибки и корректируют ожидания. Напротив, длинные изолированные спринты без демонстрации промежуточных версий приводят к накоплению ошибок, росту недоверия и увеличению рисков провала.

Наконец, шестая причина — использование устаревших методов анализа эффективности внедряемых ИИ-процессов. Анализ показал: классический метод CRISP-DM и его отраслевые продолжения (DataPro, CRISP-ML(Q), MAISTRO) задали высокие стандарты работы с данными, но почти не учитывали управленческие и культурные барьеры. Из-за этого даже технически безупречные решения нередко оказывались невостребованными в компаниях.
При этом авторы выявили, что пробел восполняет обновленный фреймворк (AI Success Cycle), в котором управление когнитивной дистанцией и мониторинг принятия технологии пользователями встроены на каждом этапе. Это помогает адаптировать и внедрять ИИ-решения так, чтобы они естественно «приживались» в организации и приносили реальную пользу. Например, команда делает шаг вперед, показывает промежуточный результат, получает комментарии от бизнеса и дорабатывает продукт с их учетом. Такой ритм, по мнению экспертов, помогает держать участников «на одной волне» и превращает разницу в подходах в источник знаний, а не конфликтов.

Исследование показало, для эффективного внедрения ИИ-проектов компаниям необходимо выполнять следующие правила:

• оценить культуру принятия решений в компании, чтобы понять, насколько она реально data-driven;
• провести аудит данных до старта проекта и создать Data Story как «единый источник правды» для бизнеса и ИТ;
• разбить ключевые процессы на этапы и определить, где безопасно автоматизировать, а где важно оставить человека;
• создавать кросс-функциональные команды и назначать брокеров знаний, чтобы бизнес и разработка разговаривали на одном языке;
• запрашивать у команды рабочий прототип каждые 3–4 недели и обсуждать прототипы вместе с бизнесом, а не только внутри разработки;
• внедрять обновленный фреймворк (AI Success Cycle), чтобы эффективнее встроить ИИ в бизнес-процессы.

Авторы исследования также дали семь управленческих рекомендаций для успешного внедрения ИИ.

1. Вовлекать всех участников с самого начала. Не запускать проект только усилиями топ-менеджмента или разработчиков. Уже на старте за одним столом должны быть бизнес-владельцы, инженеры и менеджеры. Это поможет сразу выявить ограничения по данным, архитектуре и ресурсам.

2. Проверять, есть ли у проекта реальная цель. Формулировка цели «внедрить ИИ» — тревожный сигнал. Настоящая цель звучит как конкретная бизнес-задача: «снизить коэффициент оттока на 10%» или «сократить время обработки заявки на 20%». Если такого фокуса нет, проект рискует превратиться в витрину.

3. Поддерживать баланс между стейкхолдерами. Не стремиться полностью стереть разницу в подходах между бизнесом, разработкой и другими стейкхолдерами. Разные взгляды полезны, если они не мешают понимать друг друга. Важно следить, чтобы команда сохраняла критический взгляд, но при этом могла находить общий язык.

4. Организовать «торговые зоны». Повысить продуктивность могут различные форматы совместной работы: стратегические сессии, спринт-планирование, кросс-функциональные ревью. Это пространство, где стейкхолдеры синхронизируют ожидания и договариваются о следующих шагах.

5. Работать через граничные объекты. User Story, Data Story, MVP-прототип, дашборд с метриками — любые артефакты, которые понятны и бизнесу, и разработчикам. Важно фиксировать договоренности через такие объекты, чтобы все стороны видели одно и то же и могли отслеживать прогресс.

6. Назначать брокеров знаний. В команде должны быть люди «на стыке»: продукт-менеджеры с опытом разработки, бизнес-аналитики, системные аналитики. Их задача — переводить с языка бизнеса на язык технологий и обратно. Без таких посредников коммуникация быстро ломается.

7. Не отпускать проект «на автопилот». Даже после релиза продолжайте поддерживать общий ритм: короткие циклы обратной связи, регулярный мониторинг и открытые обсуждения. Это убережет проект от вырождения в формальную «галочку» в отчетах.
 

Опрос KPMG показал, что резкий рост корпоративных инвестиций в генеративный ИИ может изменить существующие бизнес-операции: 68% компаний планируют выделить на эти цели в течение года от 50 до 250 млн долл. Предприятия фактически удваивают инвестиции в ИИ. Наблюдается рост интереса к ИИ-агентам, и более половины организаций изучают возможность их использования. При этом в условиях растущего спроса на демонстрацию рентабельности инвестиций крайне важно правильно представлять историю создания ценностей.

Несмотря на значительные инвестиции в генеративный ИИ, представители лишь 31% организаций рассчитывают оценить в ближайшие шесть месяцев их окупаемость. Главным препятствием остается качество данных, об этом упомянули 85% опрошенных. Ситуация усугубляется проблемами конфиденциальности и безопасности (71%), а также сложностью адаптации сотрудников (46%). Динамичный характер ИИ требует новых способов измерения ценности, выходящих за рамки обычного бизнес-анализа. Показатели эффективности должны быть строго согласованы со стратегией бизнеса и учитывать потери от отсутствия инвестиций.

В отчете KPMG отмечается, что ключевыми факторами внедрения искусственного интеллекта в масштабах предприятия становятся ИИ-агенты – автономные инструменты, способные выполнять стоящие перед ними задачи и адаптироваться в режиме реального времени. В настоящее время организации активно изучают потенциал оптимизации административных задач (60%), обслуживания клиентов (54%) и создания бизнес-контента (53%). Но на сегодняшний день внедрением таких инструментов могут похвастаться только 12% предприятий.

В 2025 году основное внимание будет уделяться эффективному масштабированию решений агентного ИИ при сохранении контроля, необходимого для укрепления доверия и сотрудничества между человеком и искусственным интеллектом.

Руководство высшего звена, похоже, берет инициативу в свои руки. Доля представителей этой категории, активно использующих инструменты ИИ, достигла 71%, чего нельзя сказать о менеджерах среднего звена (26%) и рядовых сотрудниках (15%). Эксперты полагают, что это несоответствие может помешать масштабированию: важнейшим фактором остается неготовность сотрудников. Повышение уровня их квалификации и плавная интеграция ИИ в рабочие процессы будет способствовать дальнейшему внедрению и повышению отдачи от инвестиций. Несмотря на имеющиеся трудности, в целом организации настроены оптимистично. Более 80% планируют интегрировать инструменты генеративного ИИ в рамках официальных программ повышения эффективности, стремясь сделать эти технологии неотъемлемой частью рабочих процессов сотрудников и снизить барьеры для их использования.

Руководители высшего звена, естественно, лучше оценивают потенциал генеративного ИИ для решения бизнес-задач, повышения производительности труда и обеспечения стратегического преимущества своим организациям. Это объясняет разницу в уровнях доверия между рядовыми сотрудниками и руководителями.

В отчете KPMG отмечается, что впервые с начала 2024 года ведущим показателем эффективности инвестиций в ИИ стала производительность (79%), а не рентабельность. Рентабельность, увеличившись за 2024 год с 35% до 73%, переместилась на второе место. В отчете указывается, что 54% организаций используют инструменты повышения производительности генеративного ИИ не реже одного раза в неделю. Еще 24% не реже одного раза в неделю обращаются к генеративному ИИ, встроенному в рабочие процессы.

Такой сдвиг подчеркивает нацеленность предприятий на использование ИИ для повышения операционной эффективности в условиях макроэкономического давления. По данным KPMG, 88% руководителей отводят внешним факторам определяющую роль в формировании стратегии ИИ и подчеркивают важность измеримых результатов.

Важнейшее значение для дальнейшего масштабирования ИИ-инициатив имеют качественные данные, надежность управления и стратегический контроль. При выборе поставщиков предпочтение отдается масштабируемости (66%) и технологическому опыту (61%), что свидетельствует о спросе на корпоративные решения, соответствующие поставленным бизнес-целям. По мере ускорения внедрения искусственного интеллекта предприятия подходят к поворотному моменту: использовать потенциал ИИ для трансформации бизнеса или столкнуться с риском отставания в быстро развивающейся цифровой экономике. В 2025 году от генеративного ИИ все ждут перехода от амбиций к реальным преобразованиям.

Опрос Gartner, в котором принимал участие 451 представитель высшего технического руководства компаний, показал, что 57% ИТ-директоров считают разработку и реализацию стратегии внедрения ИИ на предприятии своей прямой задачей. Но есть четыре фактора, которые мешают им успешно ее решать.

1. Преимущества для бизнеса от использования ИИ не всегда материализуются

Чтобы добиваться хороших результатов, люди должны постоянно использовать в своем рабочем процессе инструменты генеративного искусственного интеллекта. Согласно опросу 5 тыс. пользователей цифровых технологий, проведенному Gartner во втором квартале 2024 года в США, Великобритании, Индии, Австралии и Китае, используя генеративный ИИ, люди экономят в среднем 3,6 часа в неделю. Однако не все сотрудники получают от него одинаковую выгоду. Результат зависит не только от личной заинтересованности и глубины внедрения, но и от сложности работы и приобретенного опыта. Организации, использующие искусственный интеллект, стремятся автоматизировать с его помощью ключевые бизнес-процессы, перепрофилировать роли для работы с чат-ботами, и добиться улучшений, которые меняют правила игры – создавать новые источники доходов и менять предлагаемые предприятием ценности. В такой ситуации управление рисками и преимуществами ИИ следует осуществлять с учетом особенностей имеющегося ресурсного портфеля.

2. Затраты на ИИ могут быстро выйти из-под контроля

В опросе Gartner в июне-июле 2024 года, в котором принимали участие более 300 ИТ-директоров, более 90% респондентов заявили, что управление затратами ограничивает их возможности по извлечению выгод из ИИ для предприятия. Аналитики Gartner полагают, что затраты несут в себе не меньший риск, чем вопросы безопасности и галлюцинации. Если ИТ-директора не понимают, как масштабируются их затраты на генеративный ИИ, при расчетах ошибки могут достигать 500% и даже 1000%. Нужно четко представлять себе компоненты затрат и варианты моделей ценообразования, понимать, каким образом эти затраты можно снизить, и уметь договариваться с поставщиками. ИТ-директора должны продемонстрировать, как масштабируются затраты, не ограничиваясь одними лишь технологическими вопросами.

3. Повсеместное использование данных и ИИ порождает новые проблемы и риски

В условиях повсеместного распространения на предприятии искусственный интеллект и данные больше не являются централизованными активами, которые напрямую контролируются ИТ-службой. Опрос Gartner показал, что при реализации проектов, связанных с искусственным интеллектом, в среднем в организациях используется только 35% его возможностей. Это означает, что нужны новые подходы к управлению доступом к данным и их защите, управлению входящими и исходящими потоками, а также обеспечению необходимой безопасности. Именно здесь возникает концепция «технологического сэндвича». В нижней его части находятся все данные и ИИ-компоненты, поступающие из ИТ-службы, как правило, централизованные. В верхней части – данные и компоненты, поступающие отовсюду, как правило, децентрализованные. А в середине – технологии управления доверием, рисками и безопасностью (TRiSM). Задача ИТ-директора заключается в том, чтобы сформировать «технологический сэндвич», который поможет справиться с неразберихой в ИИ, но сохранит открытость для новых возможностей.

4. На производительности и благополучии сотрудников применение ИИ может сказываться как положительно, так и отрицательно

Некоторые сотрудники могут испытывать сильную привязанность к ИИ. Другие – ощущать угрозу или обиду. Все это может привести к непредвиденным последствиям, обусловленным завистью к тем, кто использует искусственный интеллект, или чрезмерной зависимостью от инструментов ИИ. Но мало кто задумывается об этом. Согласно опросу Gartner, только 20% ИТ-директоров озабочены смягчением потенциального негативного воздействия генеративного ИИ на благополучие сотрудников. А между тем управление поведенческими результатами имеет не менее важное значение, чем управление технологиями и бизнес-результатами, и подходить к этому вопросу необходимо с той же тщательностью.

Инструменты оптического распознавания текста или символов (OCR, Optical Character Recognition) сегодня прочно ассоциируются с технологиями искусственного интеллекта и машинного обучения. При этом их история началась почти сто лет назад. Какие задачи эти инструменты решают сегодня? Скоро ли наступит время, когда по нажатию одной «кнопки» система сможет провести полный анализ текста с любой картинки без участия человека?

Начинать разговор об инструментах OCR и роли технологий искусственного интеллекта и машинного обучения сегодня стоит с уточнения понятий. Широкая аудитория неоднозначно воспринимает эти термины, хоть и слышит их постоянно. Ведь, например, тот же калькулятор, самостоятельно выполняющий определенные операции, уже допустимо назвать искусственным интеллектом. Как и любую базу данных с поисковой системой, которую можно спросить о чем-либо и получить ответ.

ИИ в OCR

Дело в том, что под общим определением ИИ скрывается очень разнообразный стек технологий, которые на верхнем уровне подразделяются на слабый (Narrow AI), сильный (General AI) и продвинутый (Super AI) ИИ. Первый — это достаточно простой алгоритм, запрограммированный на выполнение одной узкой задачи. Второй на основе заложенных в него данных может имитировать человеческое мышление, рассчитывать последовательность задач и принимать решения, в том числе, с применением нейросетей. Третий способен самостоятельно развиваться, мыслить, искать информацию, превосходя человека в любых задачах. Правда, пока он существует только в виде гипотез, так как требует достаточно высоких вычислительных мощностей не только для своего существования, но и для своего рождения. Впрочем, над созданием необходимых дата-центров и прорывных процессоров уже работают лидеры отрасли. При этом новый GPT-5 пока что не будет кардинально отличаться от предшествующей версии. Да, у него больший объем данных и глубже понимание контекста, но в случае с OCR реставрация документов, точное выделение разнонаправленного текста из сильно зашумленных, искаженных документов, распознавание рукописного текста при замусоренности изображений — это по-прежнему отдельное направление для работы. Поэтому сегодня, развивая систему OCR, добавляя в нее новые функции, мы не рассчитываем на ИИ в финальной концепции, а имеем в виду симбиоз «достаточных» технологий, которые позволяют программе взаимодействовать с окружающим миром: получать информацию из разных источников и выдавать ответ.

Само понятие оптического распознавания символов также нуждается в пояснении. Первые аппаратные средства, которые можно охарактеризовать как OCR-системы, появились почти сто лет назад: знаменитая, запатентованная в 1929 году «читающая машина» Густава Таушека на основе готовых шаблонов могла переводить текст на изображениях в печатный вид. По сути, читая любые материалы, каждый из нас занимается оптическим распознаванием: вычленяет в книге или на экране буквы и слова в определенном порядке, сравнивает с имеющейся в голове «базой данных» (например, системой естественного языка), анализирует и сопоставляет со знакомыми символами. Задача разработчиков инструментов OCR фактически заключается в том, чтобы машина могла качественно повторить этот процесс. Искусственный интеллект, разумеется, способствует достижению подобной цели.

Что умеет OCR уже сегодня

Рассматривая типовую функциональность инструмента OCR, мы пройдем по всему бизнес-процессу распознавания — от получения документа до аналитики.

На первом этапе системе необходимо просто понять, что на каком-либо изображении содержится текст — на отсканированном документе, фотографии, на ценнике или этикетке товара в магазине, в видеофайле или где-то еще. Отличить один объект от другого, вычленить потенциальный текст — это простая функция для технологии компьютерного зрения, но она одна из ключевых. Человек также читает не все подряд, а лишь то, на чем акцентирует свое внимание.

Более сложная задача — качественно передать содержание текста в систему, когда на изображении большое количество помех и шумов. Мешать могут дополнительные объекты в кадре, помарки в рукописном тексте, блики или размытия на фотографии, искажения текста, мусорные элементы, дефекты (например, слабо проявленный, смятый и потертый европротокол с множественными помарками нервничающего водителя) и т.д.

Поэтому перед началом анализа к объекту распознавания применяются технологии очистки и предобработки, которые позволяют сделать этот текст более качественным: развернуть, кадрировать, увеличить резкость, убрать шумы и прочие посторонние элементы. Существенную помощь на этих этапах оказывают легкие узконаправленные алгоритмы, которые построены на простых архитектурах и могут, например, детектировать вывеску, затем найти на ней шумы и символы, нормализовать текст и привести его в читаемый вид, пригодный для распознавания. Для этого необязательно перегружать систему сложными нейросетями.

Нормализованное изображение может быть подано на обработку специализированной сети, осуществляющей более точное детектирование текста. При этом важно понимать, что перегружать одну сеть, используя ее для решения всех задач по детекции, — слишком затратно. Поэтому вначале используются классификаторы на определенные виды оставшейся дефектовки и структуры текста, затем применяются сети по определению компоновки документа, далее уже легкие узконаправленные сети решают свои задачи: одна — распознавания очищенного фрагмента с текстом, другая — определения шрифта, языка и т.д.

Ключевой шаг после распознавания — понимание контекста. Система должна определить в документе те атрибуты, которые будут в дальнейшем использоваться в определенных бизнес-процессах: бухгалтерии, логистике, юридической службе и т.д. То есть на изображении начинается поиск определенных ключевых слов: сумм, дат, номеров контейнеров, заказов, договоров. Если документ структурированный (например, паспорт), систему можно настроить на проверку определенных областей. Если неструктурированный — она будет искать нужные сведения по всему тексту, изучая каждое слово.

В дальнейшем распознанные атрибуты возможно анализировать дополнительно, формируя комплекты документов, актуализируя и сверяя данные с информационными ресурсами, а также полностью или частично переносить их в другие системы. Для этого также справедливо использовать как алгоритмику и правила, так и языковые модели. Задав нейросети грамотный промпт, есть шанс получить качественный ответ.

Таким образом, уже сейчас технологии OCR могут полностью или частично автоматизировать рутинные процессы, связанные с обработкой информации в документах самых разных категорий: деловые бумаги и нормативные акты, этикетки, строительные чертежи, судебная документация и многое другое. Наибольшую пользу они приносят в связке со смежными системами — например, с CRM и электронным документооборотом.

Перспективы инструментов распознавания

Все движется к тому, что с расширением возможностей технологий искусственного интеллекта OCR-системы полностью трансформируются или сольются с целевым понятием ИИ, наделенным первоклассным зрением, аналитическим умом и тонким слухом. Главный сдерживающий фактор на пути — недостаток вычислительных мощностей, к тому же существующие дата-центры потребляют колоссальное количество энергии и крайне дороги в обслуживании.

Проблема решается несколькими способами. Производители микроэлектроники вроде Intel, AMD, NVIDIA выпускают процессоры, адаптированные под задачи ИИ, но на данный момент стоимость их очень высока, а мощность по-прежнему недостаточная, несмотря на то, что некоторые показатели новинок впечатляют. Разработчики нейросетей пытаются оптимизировать свои системы, делая их доступными для более слабого «железа». Это «приземляет» текущие сети, но не приближает их к целевому понятию ИИ. Крупный бизнес занимается оснащением мощных дата-центров, а рядовые пользователи и небольшие компании (например, дизайнерская студия или контент-менеджер) могут рассчитывать на облачные сервисы для доступа к нейросетям по модели подписки.

Однако полноценный прорыв в массовом использовании технологий на основе искусственного интеллекта, в том числе выход на новый уровень систем OCR, будет возможен только с развитием квантовых и биокомпьютеров. Соответствующие наработки уже мелькают в новостных сводках и обзорах. В момент, когда квантовые технологии станут массово доступными, мы, скорее всего, и обретем ту самую «волшебную кнопку», позволяющую пользователю дать системе какую угодно интеллектуальную задачу и получить качественный результат. Хотя, конечно, это перспектива дальняя.

Автор — Виктор Горюнов, директор продукта SOICA компании SL Soft

Переизбыток доступных данных способствовал сегодняшнему всплеску внедрения искусственного интеллекта и его генеративных возможностей в большей степени, чем какой-либо другой фактор. Сбор, очистка, систематизация и защита данных фактически превратились для искусственного интеллекта и машинного обучения в самостоятельный проект – процесс управления, в котором важную роль играют сами инструменты ИИ. Результатом всего этого может стать значительное улучшение управления данными, которое принесет пользу всему предприятию.

База данных остается основным хранилищем данных, но экосистема инструментов управления данными на основе искусственного интеллекта (включая продукты стартапов, которым может пока не хватать стойкости и полноценного понимания всех нюансов функционирования баз данных) уже получает повсеместное распространение. Со временем с предлагаемым программным обеспечением для баз данных и облачными сервисами, очевидно, будет интегрироваться все больше функций управления.

Применение ИИ для автоматизации управления данными способно приносить немедленную отдачу. Чем лучше предприятие управляет своими данными, тем лучше сотрудники, занимающиеся машинным обучением, могут использовать эти данные для создания приложений на базе искусственного интеллекта. В более широком смысле добавление искусственного интеллекта к управлению данными оказывает положительное влияние на их аналитику, соблюдение нормативных требований и повышение качества данных в любой отдельно взятой организации.

Рассмотрим подробнее, каким образом ИИ модернизирует процессы, связанные с управлением, и как инструменты, улучшенные с его помощью, способствуют успеху как приложений искусственного интеллекта и машинного обучения, так и процесса обработки данных в целом.

Каталогизация данных

Знаете ли вы, где находятся ваши данные? Для эффективного управления организациям необходима полная инвентаризация всех основных хранилищ данных и понимание того, что в них содержится. Задача идентификации корпоративных данных, доступа к ним и их классификации становится все более сложной в том числе и из-за бесконтрольного распространения облачных хранилищ данных, не говоря уже о наличии полуструктурированных журналов, используемых для выявления операционных тенденций и аномалий. Программное обеспечение для каталогизации данных позволяет составить подробную схему этих хранилищ.

Искусственный интеллект может помочь на всех этапах каталогизации данных организации, начиная с автоматического обнаружения хранилищ данных, имеющих отношение к предприятию. Спектр инструментов каталогизации варьируется в широких пределах. Некоторые используют ИИ в том числе и для определения политик контроля доступа и организации поиска на естественном языке. Каталогизация на основе искусственного интеллекта значительно сокращает объем ручного труда, связанного с классификацией информационных ресурсов, и выявляет происхождение данных, показывая, откуда они берутся и как менялись.

Управление метаданными

Эффективное управление метаданными, то есть информацией, описывающей данные компании, имеет основополагающее значение для успешного управления. Инструменты каталогизации на основе искусственного интеллекта позволяют идентифицировать метаданные для правильной классификации информационных ресурсов. Кроме того, управление метаданными имеет жизненно важное значение для надежной работы с данными. Широкий спектр существующих предложений – от программного обеспечения для интеграции данных до платформ наблюдения за ними – открывает новые возможности и для управления метаданными.

Инструменты управления метаданными, основанные на искусственном интеллекте, облегчают процесс ручной классификации данных и помогают устранять различия в описаниях метаданных. В прошлом предприятия оперировали относительно статичными метаданными, но сегодня инструменты ИИ непрерывно отслеживают и собирают динамическую информацию о хранении, использовании и перемещении потоков данных. Помимо других преимуществ, метаданные, подробно описывающие ресурсы данных, могут использоваться для выдачи на основе ИИ рекомендаций по оптимизации платформ хранения и даже для определения потенциальных путей интеграции данных.

Качество данных

Наибольшее влияние ИИ оказал на качество данных, которое характеризуется шестью основными аспектами: точностью, полнотой, согласованностью, уникальностью, своевременностью и достоверностью. Очевидно, что при отсутствии у данных этих свойств риск катастрофических последствий в результате операционной деятельности заметно возрастает. А специалистам, занимающимся наукой о данных, и аналитикам приходится прилагать титанические усилия к очистке данных, прежде чем их можно будет использовать.

Инструменты искусственного интеллекта и машинного обучения позволяют автоматически находить пропущенные значения, осуществлять нормализацию форматов данных, выявлять аномалии в них и выполнять многие другие функции. Конечно, решения (например, идет ли в случае одинаковых имен речь об одном и том же или о разных клиентах) людям по-прежнему приходится принимать самостоятельно, но общая экономия времени оказывается огромной. По мере того, как инструменты искусственного интеллекта находят все больше закономерностей в обширных объемах данных, выдаваемые ими рекомендации, обнаруживаемые корреляции и вносимые коррективы постоянно улучшаются. Соответствующие критерии используются при организации мониторинга качества данных в режиме реального времени.

Моделирование данных

Структурирование базы данных – или всей архитектуры данных – начинается со сбора и анализа требований к данным, а также с разработки логических и физических моделей, обеспечивающих соответствие этим требованиям. В ряде продуктов искусственный интеллект позволяет архитекторам данных и инженерам легко создавать визуальные представления моделей данных.

Сегодня на многих предприятиях моделирование данных направлено на обслуживание приложений искусственного интеллекта и машинного обучения. Некоторые инструменты обработки данных с использованием ИИ предлагают автоматизированное конструирование признаков (feature engineering), при котором ключевые характеристики извлекаются из наборов данных, предназначенных для подготовки к обучению ИИ. В сочетании с автоматическим машинным обучением это позволяет подбирать модели разных типов, определяя наиболее подходящие для конкретных приложений и прогнозной аналитики. Если данных для эффективного обучения модели оказывается слишком мало, инструменты моделирования на основе искусственного интеллекта могут использовать существующие хранилища и генерировать синтетические данные, которые очень похожи на реальные.

Политика данных и управление их жизненным циклом

Политику обработки своих данных организациям необходимо определять на основе федеральных, государственных, отраслевых и международных нормативных актов, а также внутренних бизнес-правил. На крупных предприятиях создаются комитеты по управлению данными, которые устанавливают соответствующие правила и разъясняют порядок их выполнения. Описывается все это в специальном документе, который дополняется по мере изменения правил и процедур. Поддержка естественного языка генеративным искусственным интеллектом позволяет автоматизировать создание черновых вариантов такой документации и значительно облегчает внесение в нее последующих изменений.

Анализируя шаблоны использования данных, нормативные требования и внутренние рабочие процессы, ИИ помогает организациям определять и внедрять политику хранения, а также автоматически идентифицировать данные, срок службы которых истек. Искусственный интеллект способен инициировать даже процедуры архивации и удаления. Наряду со снижением рисков и обеспечением выполнения нормативных требований автоматизация архивирования данных создает условия для освобождения места и сокращения затрат на хранение.

Готовность данных

Системы аварийного восстановления на базе искусственного интеллекта помогают организациям разрабатывать эффективные стратегии восстановления, прогнозируя возможные сценарии сбоев и принимая превентивные меры для минимизации простоев и исключения потери данных. Системы резервного копирования, основанные на искусственном интеллекте, гарантируют целостность резервных копий и автоматически инициируют процедуры восстановления потерянных или поврежденных данных в случае сбоя.

Системы управления хранением на базе ИИ реплицируют и распределяют данные по нескольким хранилищам, обеспечивая высокий уровень их готовности и низкую задержку. Средства прогнозной аналитики на основе искусственного интеллекта собирают данные с датчиков, из журналов оборудования и архивных записей систем технического обслуживания в целях минимизации потенциальных сбоев или простоев. Для предотвращения снижения уровня готовности данных профилактические меры важны, как ничто иное.

Человек по-прежнему необходим

С управлением данными искусственный интеллект по большей части справляется достаточно легко. Многие задачи (от обнаружения данных и их очистки до управления политиками), связанные с управлением и выполняемые сегодня во многом вручную, не представляют для ИИ особых сложностей и решаются им с более высокой точностью по сравнению с людьми. И это уже большая победа, особенно если учесть, что для операций машинного обучения нужны очищенные и упорядоченные хранилища данных, на основе которых можно создавать и обучать приложения искусственного интеллекта.

Следует, однако, помнить, что искусственный интеллект не обладает в полной мере разумом в том смысле, который мы вкладываем в это слово. Для устранения даже незначительных расхождений в данных может понадобиться анализ контекста и опыт, который способны приобрести только люди. Очевидно, никто не станет сегодня поручать машине создание корпоративной архитектуры данных. Да, искусственный интеллект уже сейчас способен исключить значительную часть ручного труда при управлении данными. Но он не сможет решать за вас все.

Ранняя диагностика заболеваний позволяет значительно повысить шанс на более быстрое выздоровление и сохранение качества жизни пациента. Решения на базе искусственного интеллекта способны помочь врачам как можно раньше диагностировать патологию, начать терапию на ранних стадиях и сократить расходы на лечение. Кроме того, за счет этого снижаются риски возможных врачебных ошибок, которые, по данным Минздрава, ежегодно становятся причиной около 70 тыс. осложнений.

билайн совместно с Сеченовским Университетом (Первый МГМУ им. И. М. Сеченова — Прим. ред.) создал цифровые медицинские продукты с использованием ИИ. Доступ к большим объемам медицинских данных вуза позволяет использовать их для обучения моделей искусственного интеллекта, разработанными командой MedAI билайна. О реализации таких проектов рассказывает Александр Арутюнян, руководитель по продуктам на основе ИИ для медицины «Вымпелком» и номинант на премию Data Award.

- Какова история участия билайна в медицинских проектах, и в каких медицинских направлениях вы работаете?

Мы принимаем участие в медицинских проектах с 2021 года, сотрудничая с одним из ведущих медицинских вузов страны – Сеченовским Университетом, а также работая в партнерстве с другими разработчиками искусственного интеллекта для здравоохранения. Более того, в феврале 2024 мы создали совместное предприятие с университетом – MедТех ИИ. Поэтому можно с уверенностью сказать, что наша команда наработала уже достаточно серьезный опыт в сфере медицинских исследований и разработок.

Сейчас мы продолжаем наши разработки в применении ИИ для помощи врачам в диагностике патологий тазобедренного сустава на снимках МРТ. Также мы активно работаем над задачами использования ИИ в области патоморфологии. На рынке пока предлагается не так много решений для этого вида диагностики, несмотря на то, что применение ИИ может существенно повысить качество гистологических исследований и снизить временные и ресурсные затраты специалистов.

Кроме этого, на нашей повестке – развитие направлений диагностики атрофического гастрита с помощью ИИ и дистанционный мониторинг пациентов, которые мы считаем очень важными и нужными как для самого пациента, так и для развития здравоохранения в целом.

- Каких целей пытается добиться компания? Это коммерческая или социальная история?

Наша цель – разработка ИИ-решений в медицине, которые помогут улучшить качество и доступность медицинских услуг за счет повышения скорости и эффективности диагностических исследований. Известно, что ранняя диагностика заболевания имеет важное значение для сохранения здоровья и жизни пациента, а в масштабах страны – здоровья значительного количества ее граждан, снижая при этом стоимость лечения, затраты для медучреждений и системы здравоохранения. То есть, здесь речь идет об экономическом эффекте от внедрения ИИ технологий в медицинскую практику.

С другой стороны, ИИ сокращает, например, время анализа снимка и подсчета морфологических параметров, помогая специалистам при постановке диагноза. Рутинные задачи передаем современным ИИ системам и получаем сервис «второго мнения», который способен вывести работу врачей на новый уровень.

Ну и, наконец, многим знакома ситуация, когда приходилось долго ожидать результатов биопсии, на основе которых будет поставлен диагноз. И без преувеличения можно сказать, что это один из самых тяжелых опытов, через который проходит человек – в течение 10 или даже более дней ожидать заключение диагностики. ИИ может существенно ускорить анализ, а значит сократит время ожидания результатов для пациента.

Поэтому, отвечая на вопрос, можем сказать, что это и коммерческая, и социальная, и «человеческая» история.

- Какие принципы пытаетесь соблюдать, каковы требования к создаваемым решениям?

В разработке наших ИИ решений для медицины мы придерживаемся нескольких важных принципов. Главный из них – решения должны быть высокоточными и надежными, чтобы использоваться для помощи в диагностике и лечении. Нам важно валидировать результат работы искусственного интеллекта на разных исследованиях для подтверждения точности моделей. Валидация моделей происходит следующим образом: мы проверяем работу моделей вместе с профильными специалистами, при возможности сопоставляем с клиническими данными.

Еще один важный принцип – решения должны повышать эффективность медицинских организаций, сокращая временные и финансовые затраты, и кроме этого подходить для решения широкого круга задач. Кроме того, важно соблюдать удобство для пользователя: решения должны быть интуитивно понятными и удобными в использовании для врачей и пациентов.

Наконец, этичность и безопасность. Решения должны соответствовать этическим нормам, поэтому вне зависимости от результата работы ИИ, диагноз ставит квалифицированный специалист. Кроме того, с учетом чувствительности информации о состоянии здоровья, должна обеспечиваться конфиденциальность данных пациентов и высокий уровень их защиты.

- В чем заключаются основные проблемы в ходе реализации проектов? Как их решаете?

Лучше назовем их вызовами. Во-первых, это доступ к данным. Для разработки эффективных решений нужны высококачественные медицинские данные. Сеченовский Университет обладает большими массивами накопленных данных со снимков МРТ и анализов гистологических препаратов. Вместе со специалистами университета мы создаем размеченные датасеты, которые служат основой для обучения и совершенствования наших алгоритмов ИИ. Для разработки решений используются данные пациентов, которые согласились на соответствующую обработку данных.

Во-вторых, нужна экспертиза в области здравоохранения. Для разработки моделей необходимы глубокие знания в области медицины. Безусловно, эксперты университета дают нам ценные сведения о медицинских практиках, диагнозах и методах лечения. Разработчики и специалисты по работе с данными из нашей команды совместно с коллегами-врачами анализируют и размечают большое количество диагностических исследований.

Приведу пример из жизни, как синергия команд билайна и Сеченовского Университета работает в фокусных областях медицины для создания качественных алгоритмов. Для тренировки модели на распознание структур в гистологическом снимке желудка мы разбирали разницу между бокаловидными клетками желудка и скоплений муцина (который является структурным компонентом слизи) – они очень похожи, выглядят как белое пятно внутри железы, но бокаловидные клетки являются признаком патологии, а муцин – часть здоровой железы.

В гистологических исследованиях почки нужно было научиться различать внешне похожие здоровые и онкологические клетки. Более того, клетки не всегда выглядят как в учебнике, и часто встречаются переходные варианты. С экспертизой врачей мы не только научились различать их, но и разрабатываем точную классификацию для разметки ядер клеток почки.

Резюмируя, можно сказать, что разложить клетки, ткани, или органы на объекты для обучения моделей – очень непростая задача. Но наши разработчики вместе со специалистами Сеченовского Университета вполне успешно справляются с ней.

- Приведите примеры нескольких показательных проектов. Чем они интересны?

Хочу привести примеры, как использование ИИ технологий билайна может помочь выявлять вероятность различных заболевания на ранней стадии, существенно повышая шансы на более быстрое выздоровление.

Первый из них – анализ гистологических исследований почки для определения паттернов фиброза и воспаления. Трансплантация органов – порой единственный способ спасти жизнь пациента и значительно улучшить ее качество. Но трансплантация органа представляет собой очень сложный процесс. Часто он сопряжен с различными осложнениями, в том числе фиброзом тканей и воспалениями, которые сигнализируют об отторжении органа. Технологии компьютерного зрения позволяют сегментировать исследуемую ткань и определять паттерны фиброза и воспаления. Своевременное выявление фиброза и воспаления дает возможность принять меры по предотвращению прогрессирования заболевания и сохранению функции трансплантированной почки. Например, может быть проведена коррекции иммунных терапий, что предотвратит отторжение трансплантата.

Еще один пример – анализ гистологических исследований почки для определения ядрышковой градации (опухолевых клеток). С помощью технологий компьютерного зрения сегментируются ядра клеток и определяются потенциально опухолевые клетки на всем снимке. Раннее обнаружение онкологического заболевания повышает шансы на успешное лечение и увеличивает выживаемость пациентов. Начатая на ранней стадии терапия может предотвратить распространение опухолевых клеток и снизить необходимость радикальных хирургических вмешательств.

- Каких успехов удалось достичь?

Мы создали ИИ-решение для анализа гистологических препаратов почки для определения потенциально опухолевых клеток. Программа разработана для автоматизации определения с помощью ИИ классификации ядер клеток почки в рамках существующей классификации ВОЗ. Модель рассчитывает относительную плотность ядер опухолевых клеток различных типов и предоставляет эту информацию для анализа врачу. Результаты работы программы выражены в форме горячих карт и новых гистологических биомаркеров, обладающих прогностической ценностью.

Разработали ИИ-решение для анализа гистологических препаратов почки для определения вероятности паттернов фиброза и воспаления. ИИ помогает стандартизировать исследования и количественно оценить морфологические характеристики, улучшив воспроизводимость в клинической практике. Наш подход помогает отличить пограничные изменения от отторжения. ИИ-модель глубокого обучения продемонстрировала высокую точность предсказания клинических баллов по классификации Баннфа, что делает ее перспективным инструментом помощи для патологоанатомов.

- В чем роль медицинских проектов для билайна?

Медицинские проекты являются одним из важных направлений для нашей команды MedTech, которая занимается разработками в сфере здравоохранения, и важны для билайна в целом. Создавая такие решения, мы используем наши технологические возможности и ИИ экспертизу для улучшения качества жизни. Наконец, билайн – коммерческая компания, и такие проекты открывают нам возможности для коммерческого роста и новые области для бизнеса.

- Каковы направления развития медицинских инициатив в билайне?

Направления развития наших медицинских инициатив включают разработку, интеграцию и внедрение моделей ИИ в лабораторные и медицинские системы, а также развитие направления дистанционного мониторинга пациентов с использованием речевых технологий. Для этого мы будем расширять сотрудничество с медицинскими учреждениями и научным сообществом.

С точки зрения лабораторных систем важное для нас направление развития – патоморфология атрофического гастрита, который в последние десятилетия стал очень распространенным заболеванием. Своевременная диагностика, включая гистологическое исследование биопсийных образцов слизистой оболочки желудка, играет одну из ключевых ролей в выявлении и оценке степени атрофии. Мы разрабатываем алгоритмы машинного обучения, которые позволят определять вероятность и классифицировать изменения тканей с высокой точностью. Регулярный мониторинг состояния слизистой оболочки желудка позволяет врачам выявлять и контролировать прогрессирование заболевания, что существенно снижает риск развития его осложнений, включая рак желудка.

Что касается дистанционного мониторинга, то мы разрабатываем мониторинг с использованием речевых технологий, который будет обеспечивать эффективное и удобное взаимодействие между пациентами и врачами, а также позволит оперативно реагировать на изменения в здоровье пациентов. Речевые технологии также могут применяться для мониторинга побочных эффектов лекарственной терапии и, соответственно, быстрой коррекции. Дистанционный мониторинг актуален в онкологии, диабетологии, во время реабилитации после операций. В целом, дистанционный мониторинг с использованием речевых технологий представляет собой инструмент для обеспечения качественного медицинского ухода, повышения качества сервиса для пациентов и оптимизации ресурсов здравоохранения.

- Что нужно для развития ИИ-проектов в медицине? Какие шаги необходимы со стороны бизнеса, государства и научного сообщества?

Развитие ИИ-проектов в медицине требует комплексного подхода, объединения усилий со стороны бизнеса, государства и научного сообщества. Со стороны бизнеса необходимы инвестиции в исследования и разработки решений ИИ, которые способны помочь врачам эффективно и своевременно решать сложные медицинские задачи и отвечают реальным потребностям пациентов и системы здравоохранения.

Со стороны государства важно создание гибкой регуляторной среды, которая сможет обеспечить баланс между инновациями и частной жизнью пациентов. В то же время государство может выделять средства на исследования и разработки ИИ в медицине, поддерживая академические учреждения и исследовательские лаборатории. И конечно, необходимы кампании по повышению осведомленности людей о возможностях и преимуществах технологий ИИ в здравоохранении.

Научное сообщество может помочь с профильной экспертизой для разработки новых методов и алгоритмов ИИ, которые будут решать медицинские задачи. Это будет способствовать внедрению ИИ в практику здравоохранения, обеспечивая научное обоснование, данные для датасетов и поддержку для принятия решений.

По нашему мнению, только совместные усилия бизнеса, государства и научного сообщества могут ускорить развитие и внедрение ИИ-проектов в медицине, улучшая результаты для пациентов, повышая эффективность системы здравоохранения и открывая новые возможности для медицинских исследований и инноваций.

Интеллектуальная система цифрового контроля, созданная специалистами Softlogic на базе нейросетей, помогает городским коммунальным службам проводить ежедневный контроль улиц, дворов, множества объектов дорожного и коммунального хозяйства в масштабах всего города. Нейросеть полностью исключает временные затраты на сбор и первичный анализ зафиксированных состояний объектов. При классическом подходе с участием сотрудников это время измеряется часами. Решение предназначено для ведомств, ответственных за состояние дорожной инфраструктуры и содержание городских территорий. О реализации этого проекта рассказывает Александр Колесников, технический директор Softlogic и номинант на премию Data Award.

- Какова история проекта? На решение каких проблем он направлен?

К нам пришел запрос от одного из заказчиков: камеры существуют в городе везде, а что, если поместить камеру в автомобиль? Какой будет результат? Может ли ИИ выявлять ямы, выбоины, стертую дорожную разметку, повреждение бордюра и т. д.? С этого началась разработка продукта, исследования и тестирование.

Мобильный комплекс помогает контролировать благоустройство территорий, а также повысить качество жизни граждан.

- Почему это важно?

При обследовании инспектором в любом случае присутствует человеческий фактор. С помощью ИИ идет автоматическая оценка состояния объектов городской инфраструктуры. При этом автоматизируется работа городских служб, ускоряются и оптимизируются бизнес-процессы в работе госслужащих. С ИИ есть возможность собирать больше данных о нарушениях в содержании территорий в десятки раз. Это помогает быстрее и оперативнее реагировать и устранять нарушения. Мобильный комплекс – это эффективный инструмент, который поможет администрациям городов создавать комфортный город для жителей.

- Какие требования предъявлялись к создаваемому продукту, какие принципы пытались соблюсти?

От продукта требовали мобильность, автономность, надежность и точность. Мы придерживались принципа уникальности продукта, его масштабируемости и отказоустойчивости.

- Что представляет собой созданное решение?

В состав решения входят высокопроизводительный блок автономных вычислений, три камеры, три антенны и облачная платформа для вывода данных. Комплекс устанавливается в транспортное средство, внутри него расположены модули ИИ на базе искусственных нейронных сетей.

Графические процессоры, входящие в комплекс, получают видеоизображения с камер, далее нейросеть проводит оценку состояния попавших на них объектов. Затем с помощью GPS/ГЛОНАСС к кадрам с нарушениями добавляются данные о местонахождении нарушений и времени их фиксации. После этого данные передаются в облачную платформу sl.vision – нашу собственную разработку, позволяющую пользователям без дополнительного обучения использовать ИИ-аналитику в управленческих целях.

- В какие сроки, какими силами реализована система?

В 2018 году началась разработка продукта. В 2019 появилась первая версия мобильного комплекса, в 2021 постепенно началась эксплуатация комплекса в регионах.

- Где уже применяется решение, каких результатов удалось достичь?

Важно отметить операционную эффективность автономного мобильного комплекса нейросетевого наблюдения, в том числе ускоренное решение возникающих проблем и исключение подлогов при проверках. Процесс сбора данных становится фоновым, силы сотрудников перенаправляют на более сложные задачи, достигается полная объективность оценки.

По данным Главного управления содержания территорий Московской области, автомобили, оснащенные комплексами ИИ, в 18 раз чаще выявляют дефекты по сравнению с инспектором и сокращают время реагирования и устранения проблем в содержании городских территорий. Уменьшение человеческого фактора в вопросе отслеживания нарушений позволяет улучшить качество городской среды. В Подмосковье за полгода использования комплекса удалось на 40% снизить количество жалоб со стороны горожан и на 25% снизить количество выявляемых замечаний, так как качество городской среды улучшилось.

- А с финансовой точки зрения?

Возможен рост доходов за счет собираемых штрафов. Средний финансовый поток от штрафов за обнаруженные системой нарушения – 5 млн руб. ежемесячно. К примеру, штраф за нарушение содержания территорий составляет до 100 тыс. руб. для юридических лиц и до 40 тыс. руб. для должностных лиц.

- В чем роль проекта для государства и общества?

Мы уверены, что системы видеонаблюдения и безопасности должны приносить максимальную пользу бизнесу и государству. Поэтому мы создаем программно-аппаратные комплексы нейросетевого наблюдения, которые обеспечивают комфортную и безопасную городскую среду для граждан и успешное функционирование бизнеса разных отраслей.

- Каковы дальнейшие направления развития проекта?

Мы постоянно совершенствуем и дорабатываем программно-аппаратные комплексы нейросетевого наблюдения. В планах охватить ими другие социально-значимые проблемы: обучить нейронную сеть определять сосульки и борщевик, доработать функционал неправильной парковки, а также расширить функционал комплекса для дорожных служб.

В сети «Магнит» создана платформа управления ценностью клиентов (Customer Value Management, CVM), ставшая инструментом, позволяющим провести оптимизацию взаимоотношений с клиентами и сфокусироваться на повышении их лояльности, вовлеченности и, как следствия, максимизации эффектов, которые каждый клиент приносит компании. Платформа позволяет провести анализ и персонализацию взаимодействия с клиентами, улучшить каждый этап их жизненного цикла, а также помогает в формировании стратегии удержания и увеличения ценности клиентов. Главная цель платформы CVM — создание долгосрочных и взаимовыгодных отношений, повышения уровня лояльности и удовлетворенности клиента, что в совокупности способствует устойчивому росту и успеху компании. О реализации проекта рассказывает Максим Горынцев, руководитель управления развития ценностью клиентов сети «Магнит» и номинант на премию Data Award.

- Как исторически решалась задача работы с клиентами (повышения их ценности, маркетинговых коммуникаций) до создания платформы CVM?

До появления платформы CVM компания решала задачи работы с клиентами и повышения их ценности с использованием ограниченного набора бизнес-правил. На начальном этапе отсутствовала централизованная система управления клиентами, и взаимодействие с ними осуществлялось простым набором действий. Например, в рамках программы лояльности внедрение правил, таких как начисление баллов новым участникам, основывалось на стимулировании поведения клиентов и создании мотивации для участия в программе. Использовались персонализированные бонусы – эти действия включали начисление баллов на день рождения клиента, что было направлено на улучшение взаимоотношений и создание персонализированного опыта. Наконец, были рекомендации – довольно однобокие бизнес-правила для оценки потребления клиентов в разрезе товарных категорий, а также стимулирование клиентов покупать те или иные товары на основе отклонений в потреблении от среднего диапазона.

- Чем не устраивала ситуация? Какие задачи требовалось решить?

Реализация платформы CVM была введена с целью улучшения и трансформации построенных процессов взаимодействия, создания более гибкой и централизованной системы управления клиентами, а также более сложных стратегий по взаимодействию и удержанию клиентов на основе анализа данных. Важно понимать, что платформа CVM была разработана на основе убеждения команды в уникальности каждого клиента и необходимости ежедневного анализа его поведения.

- В чем суть созданной системы?

Работа с платформой предоставляет команде несколько важных возможностей. Во-первых, это возможность предугадывать вероятность оттока. Путем систематического анализа данных о клиенте платформа старается выявить сигналы, предвещающие его уход. Это позволяет компании предпринимать меры по удержанию, предлагать персонализированные бонусы или предложения для улучшения клиентского опыта.

Вторая важная задача – понимать желания и ожидания. Платформа активно анализирует данные о потребительском поведении, чтобы понимать индивидуальные предпочтения. Это позволяет предоставлять персонализированные предложения, отвечающие уникальным потребностям клиента.

Третья функция – предоставлять возможность для нового опыта. CVM ставит своей задачей предоставление клиентам возможности попробовать что-то новое. Это может включать в себя предложения по новым продуктам, уникальным акциям или индивидуальным бонусам, направленным на стимулирование интереса клиента и повышение его лояльности.

Наконец, непосредственно повышение уровня лояльности. Это подразумевает создание долгосрочных и устойчивых отношений с клиентами, опираясь на постоянный анализ данных, персонализированные стратегии и предложения, направленные на удовлетворение потребностей каждого из них.

Такой подход позволяет нашей команде эффективно и оперативно адаптировать платформу CVM к изменениям в поведении клиентов, формировать индивидуальные стратегии взаимодействия и, таким образом, повышать общую лояльность клиентской базы.

- На каких технологиях построено решение?

Для обеспечения функциональности и удовлетворения текущих потребностей, мы внедрили передовой стек технологий, который включает в себя множество инструментов и фреймворков. Помимо таких распространенных техно-стеков для работы с большими данными, как MPP GreenPlum, Apache Hadoop, Apache Hive, Object Storage (S3) и Apache Airflow, мы используем широкий набор библиотек и фреймворков для разработки и реализации алгоритмов машинного обучения, анализа данных и создания эффективных вычислительных моделей: Python, PySpark, PyTorch, TensorFlow. Кроме того, используется MlFlow – инструмент для управления жизненным циклом машинного обучения, который обеспечивает отслеживание, воспроизводимость и управление моделями. Использование инструментов контейнеризации Docker и оркестрации Kubernetes обеспечивает гибкость и удобство в развертывании, масштабировании и управлении приложениями нашей платформы. Настроенные CI/CD процессы в разработке (GitLab CI/CD), интегрированные со всей платформой (включая Kubernetes и Airflow) позволяют бесшовно и с минимальными задержками развертывать нужные сервисы, модели и приложения в автоматическом режиме.

Этот стек технологий обеспечивает не только высокую производительность и эффективность обработки данных, но также позволяет использовать передовые методы машинного обучения и анализа данных.

- Что «под капотом»? С помощью каких математических методов обрабатываются клиентские данные? Приведите пару примеров.

Нужно отметить, что команде приходится решать как задачи обучения с учителем, так и без учителя. Поэтому у нас имеется широкий набор алгоритмов. Например, для задач классификации и приводимых к ним – от логистической регресссии до градиентных бустингов, а для рекомендательных систем – от ассоциативных правил до продвинутого uplift-моделирования и рекомендательных систем на нейронных сетях.

Платформа с легкостью позволяет проводить тесты новых механик и в случае успеха внедрять их.

- Поделитесь несколькими примерами реализованных на платформе задач.

Недавно мы внедрили новые стратегии взаимодействия с клиентами: «Напоминание» и «Увеличение трат». В рамках первой из них триггерные события напоминают клиентам о том, что тот или иной товар у них скоро закончится. Очевидной целью в этом случае является стимулирование клиентов приобретать товары с выгодой, не дожидаясь того, как их запасы иссякнут и, как дополнение, купить что-то еще. При реализации второй стратегии проводится расчет среднемесячных трат клиента и устанавливается порог, при превышении которого предоставляются экстра-бонусы. Так мы мотивируем клиентов увеличивать свои траты, обеспечивая им дополнительную выгоду.

- Каких результатов удалось достичь? Как это соотносится с ожиданиями?

О востребованности и успешности платформы говорят показатели прошедшего года: более 350 млн направленных предложений клиентам, более 200 млн коммуникаций через различные каналы связи, более 31 млн уникальных участников, получивших предложения платформы. Нашим специалистам доступно более 500 возможных вариантов предложений на участников программы лояльности, было запущено более 300 персонализированных кампаний.

К сожалению, у нас нет возможности предоставить конкретные экономические показатели, однако мы можем констатировать заметные положительные изменения в ключевых метриках. Так, пенетрация карт лояльности у клиентов, с которыми реализуется взаимодействие через платформу CVM, выше более чем на 5% пунктов. Участники коммуникаций платформы CVM демонстрируют более высокий средний чек по сравнению с контрольной группой. Меняется и частота посещения магазинов: клиенты, участвующие в активностях CVM, посещают магазины чаще по сравнению с теми, с кем взаимодействие не осуществляется.

- А есть ли оценки, касающиеся изменения реальной лояльности клиентов?

Положительные изменения в ключевых показателях свидетельствуют о том, что платформа CVM действительно позитивно влияет на поведение клиентов. Реализуемые с ее помощью активности стимулируют вовлеченность клиентов, увеличивая средний чек и частоту посещений магазинов. Также важно заметить, что показатель открываемости (open rate) коммуникаций CVM более чем вдвое превышает показатели любой другой активности в нашем мобильном приложении. В конечном итоге все это приводит к росту финансовых показателей сети и улучшению ключевых показателей программы лояльности.

- Что дальше? В каких направлениях будет развиваться CVM-платформа?

Планы развития платформы CVM включают в себя внедрение новой функциональности и новых стратегий для более эффективного взаимодействия с клиентами. Например, будут реализованы триггерные события на основе поведения клиента и его покупок как в магазине, так и в мобильном приложении. Это обеспечит точное и контекстное взаимодействие с клиентами в режиме реального времени или хотя бы близко к нему.

Кроме того, получит развитие гиперперсонализация: максимальная персонализация рекомендаций для клиента с учетом его предпочтений, канала связи, товарных групп и размера вознаграждения. Это позволит создавать более точные и релевантные предложения, способствующие увеличению удовлетворенности клиентов и их лояльности.

Подобные новые возможности позволят платформе CVM еще более эффективно адаптироваться к уникальным потребностям каждого клиента, обеспечивая более персонализированный и релевантный опыт взаимодействия.

- В чем роль этого проекта для компании?

Платформа CVM играет критическую роль в достижении бизнес-целей компании, предоставляя необходимые средства и стратегии для эффективного управления отношениями с клиентами и оптимизации их стоимости. Важные аспекты этой роли включают в себя настройку взаимодействия с клиентами в соответствии с их индивидуальными потребностями, улучшение каждого этапа жизненного цикла клиента, повышение прибыльности через эффективное взаимодействие и анализ данных для непрерывного улучшения стратегий. Платформа CVM также способствует созданию более удовлетворительного клиентского опыта, что в конечном итоге содействует укреплению лояльности клиентов и достижению успеха в бизнесе.

В X5 Group запускают AI-RUN Business Platform – платформу, позволяющую внутренним командам быстро внедрять решения на основе искусственного интеллекта. Она предоставляет доступ к широкому спектру ИИ-сервисов, и ее помощью можно создавать, тестировать и масштабировать ИИ-приложения, не тратя время и ресурсы на разработку с нуля. Также пользователи в рамках платформы получают поддержку экспертов в области искусственного интеллекта. О реализации и первых результатах проекта рассказывает Артем Ерохин, ведущий менеджер по работе с большими данными X5 Group и номинант на премию Data Award.

- Как пришла идея создания AI-RUN Business Platform?

Мы давно работаем с продуктами и сервисами, основанными на данных. В X5 Group уже большая экспертиза по различным ML-решениям, создано множество сервисов, построенных на данных. Однако пару лет назад мы стали наблюдать новый взрыв интереса к передовым технологиям, и, в частности, к большим языковым моделям (Large Language Model, LLM).

Сначала мы экспериментировали отдельными командами, но быстро поняли, что для того, чтобы централизованно накапливать экспертизу и помогать компании работать с наиболее современными достижениями в сфере анализа данных, нужна единая точка входа, одно общее решение. Так и родилась идея создания платформы, которая позволила бы работать с самыми актуальными алгоритмами и моделями.

- В чем заключаются основные проблемы, связанные с внедрением ИИ-решений?

Конечно, это зависит от области применения и типов алгоритмов. В компании уже пройден большой путь, и есть экспертиза внедрения решений на основе классического машинного обучения. Но для тех же LLM есть особенности. Например, для самых крупных открытых моделей подойдет не каждая машина. Плюс, есть особенности работы с этими моделями, отдельные «фишки», которые не всегда работают в классическом ML.

Если же брать в целом, то основные проблемы внедрения достаточно типичные. Первое – человека на месте нужно убедить, что ИИ-решение будет лучше, чем «ручной привод». Второе – внедрение новых подходов меняет процессы. Соответственно, появляются новые сущности, новые запросы и новые вызовы, которые нужно решать именно на процессном уровне. И третье – нужна реализация и отслеживание процесса разработки моделей от начала и до конца. В отличие от четко заложенной программистом бизнес-логики, у ИИ-решений все полагается на накопленный опыт и статистику. Оттого возможны предсказания, которые человеку покажутся как минимум необычными. Но модели пока не обладают здравым смыслом в человеческом понимании и не могут сами исправить возможные недочеты.

- Как платформа должна помочь их решать?

Работа ведется по нескольким фронтам. Во-первых, чем проще человеку что-то «пощупать», тем легче для него будет понять, что за инструмент ему предлагают и проще показать преимущества нового подхода. Кроме того, платформенное решение предполагает не только техническую сторону вопроса. Одновременно с разработкой создаются новые и меняются существующие процессы в компании. Люди могут понять, как работают наиболее современные технологии на своем опыте, предложить изменения процессов и подсказать, как именно ИИ будет полезен в их повседневной работе. Наконец, если мы делаем платформенное решение, то сразу охватываем весь процесс разом и, значит, можем его лучше контролировать. Ну, и иметь максимальную скорость реакции и адаптивность, конечно.

- Какой подход был выбран при создании платформы?

Мы решили пойти от частного к общему. Кажется, что именно так мы сможем получить более полную картинку, а не навязывать инструмент сверху. Провели несколько воркшопов, выделили целевые области, в которых можем принести как можно больше пользы компании. Тогда же начали проявляться повторяющиеся запросы. А это как раз одна из целей такого платформенного решения – удовлетворение повторяющихся запросов от совершенно различных бизнес-функций неким автоматизированным решением.

Как только появились первые идеи, мы начали их проработку в техническом плане. При этом, прорабатывали в двух плоскостях: как мы можем сделать это сейчас и как мы видим это в идеальном будущем. Так получилось заниматься и разработкой, и формулировать видение. И даже больше – проложить мостик между тем, что мы делаем сейчас, и куда мы придем в итоге.

- Что представляет собой платформа, в чем ее суть? Какие элементы она включает?

Сейчас это набор сервисов, процессов и экспертизы, которые позволяют создать конкретное решение для заказчика. Пока это только решения, которые требуют LLM, – например, вопрос-ответные системы или системы помощи в создании и редактуре тех или иных документов. Но мы активно работаем над добавлением составляющей, связанной с компьютерным зрением, так как это может дать сильный синергетический эффект.

Ключевыми элементами являются сервис-шина доступа, сервис с моделями, база данных и соединяющие их потоки данных.

- Какие ИТ-инструменты использовались при создании решения?

Сервисы мы реализуем на языке Python, который можно считать своеобразным lingua franca в мире машинного обучения и работы с ИИ. Кроме того, используем достаточно большое множество разнообразных библиотек из области работы с ML. Общаются сервисы между собой с помощью Kafka.

Если рассматривать именно работу с LLM, то для базы данных мы пока выбрали Quadrant, но, возможно, изучим и альтернативы. В качестве моделей используем открытые Llama и Mixtral, а также проприетарные модели от внешних компаний.

- Как фактически изменяются благодаря платформе процессы работы с новыми решениями на базе ИИ?

Если говорить коротко, то сокращается цепочка от автора до итогового решения и упрощается процесс взаимодействия с ИИ-решениями. Например, инициатору уже не нужно пытаться поднимать свою LLM на собственных мощностях, он пользуется готовым решением. Кроме того, единая точка входа позволяет не только создать некое техническое решение, но и получить достаточно редкую и ценную экспертизу специалистов в области ИИ. Ведь не всегда для решения бизнес-задачи требуется самое современное решение, а если и требуется, то вариантов использования такого решения может быть немало. Неспециалисту в этом, конечно, будет сложно разобраться.

- Какие категории сотрудников являются основными пользователями? Это все-таки айтишники или бизнес-заказчики?

Мы стремимся к тому, чтобы пользоваться решением могли не только айтишники, но и люди от бизнеса. Конечно, это скорее целевое состояние, и сейчас некая техническая экспертиза все же требуется. Но мы вкладываем много усилий в обучение бизнес-пользователей, просвещение и упрощение понимания современных инструментов, их особенностей работы и областей применения.

- С охвата каких ИИ-решений решили начать и почему?

LLM в какой-то момент «взорвали» информационное поле, более того, они реально могут быть полезными. При этом решения, которые создаются на базе LLM, для простого пользователя будут восприниматься как магия. Получается, мы решаем сразу несколько целей: не отстаем от рынка (и даже пытаемся идти среди первопроходцев), исследуем новую перспективную технологию и приобщаем пользователей к современным инструментам.

Но работа с данными не ограничивается только LLM. Очевидно, что если привнести и достижения в других доменах (обработка изображений, звука и т.д.), то можно получить синергетический эффект. Например, записанные от руки данные можно будет распознать, обработать и выдать ответ. Или делать гораздо более «живых» виртуальных операторов, которые будут общаться неотличимо от человека. А там, глядишь, и мультимодальные модели еще раз «взорвут» рынок.

- Каких результатов уже достигли? А что ожидается в перспективе?

Думаю, что хорошим результатом можно считать настроенный процесс получения идей от бизнеса и их приоритизации. Если говорить о технических аспектах, то, например, мы весьма неплохо ищем нужную информацию. Например, среди трех верхних найденных документов с вероятностью 95% окажется именно тот, который искал пользователь.

Тем не менее, нам все еще нужно улучшать работу наших моделей. Те же LLM имеют одну неприятную особенность: они очень хорошо пишут абсолютный бред. Соответственно, под это нужно дорабатывать методы детекции некорректных ответов и способы справляться с такими проблемами. Как вариант, запустить так называемый процесс Human-in-the-Loop, где люди участвуют как в обучении, так и в тестировании алгоритма. Его суть заключается в том, что в постоянном циклическом процессе человек корректирует работу моделей, привнося свет человеческого знания в те области, где модель блуждает в потемках.

На данный момент нами обрабатывается 150 входящих идей, из которых 20-30 получили первичную проработку со специалистами. Уже на этапе пилотов находятся 10 идей, которые запускались с конца лета до нынешних времен – то есть находятся в работе около четырех-шести месяцев. Запуск первой версии платформы намечен на конец 2024 года.

- Чем можно гордиться, а над чем еще предстоит поработать?

Думаю, что основные поводы для гордости – это наша команда X5 Tech, а также возникшие новые процессы и, конечно же, скорость получения первых результатов. Идеал недостижим, но, чтобы максимально к нему приблизиться, нам нужно будет улучшить визуальную составляющую платформы. И, конечно же, продолжать доносить до новых пользователей преимущества новейших достижений инженерной мысли.

- Какие первые ИИ-продукты уже родились благодаря новой платформе?

Сейчас мы работаем над вопрос-ответными системами по накопленным в X5 базам знаний, а также сервисами генерации документов и помощи в работе над документами. Мы называем это «умной редактурой».

Но развитие идет динамично. К нам каждый месяц поступает множество идей о применении ИИ в наших процессах. Так что, думаю, продуктов станет кратно больше.

- Каковы перспективы развития AI-RUN Business Platform?

Самые позитивные. Сейчас сфера ИИ развивается очень быстро. Чуть ли не каждую неделю выходят все более «умные» модели, появляются новые подходы, упрощается техническая реализация существующих подходов. И я думаю, что такое платформенное решение позволит как можно быстрее доносить эти достижения до обычных бизнес-пользователей. И, конечно же, чем больше разных доменных областей будет в платформе, тем лучше будет проявляться синергетический эффект от разных источников данных и их объединения для решения единой бизнес-задачи.