Компьютерное зрение

Мобильные робоплатформы способны заменить человека в выполнении рутинных процедур. Они действуют точно и быстро, ограждая человека от работы в опасных условиях. Роботы — колесные, гусеничные, четырехопорные, — могут передвигаться без вмешательства человека, собирать данные и передавать их для решения разного рода задач. Компания 3Logic Group создала ПО «Вектор» для автономной навигации мобильных роботов. Об этом проекте и возможностях интеграции роботов в технологические процессы рассказывает Илья Каинов, руководитель направления роботизированных систем 3Logic Group и номинант на премию Data Award.

- Насколько востребованы робоплатформы нынешними компаниями? Какой портрет типичного клиента?

Мы видим колоссальный интерес к роботизации. Как доказательство — за первые два месяца этого года мы получили больше запросов с рынка, чем за весь 2022 год.

В основном мы работаем с крупными компаниями добывающего сектора. Это зрелые компании с развитым направлением цифровизации и выделенными инвестициями на проекты. Они находятся в поиске решений своих задач совсем на ином уровне инноваций.

- Каковы типичные варианты их использования?

Классическая задача для робота — собирать, анализировать и передавать данные разного формата. В базовых сценариях, без использования дополнительного оборудования роботы фиксируют фото- и видеоизображение, используют средства видеоаналитики.

Если робоплатформа применяется для специфических задач, то на нее устанавливается дополнительное оборудование — лидары (лазерные радары), газовые анализаторы, тепловизоры и пр. Информация с оборудования в режиме реального времени передается оператору, либо записывается на внутренний носитель платформы и обрабатывается после возвращения на домашнюю станцию.

- С какими роботами вы работаете?

Экспертиза нашей команды сосредоточена на мобильных роботах. Это колесно-гусеничные и четырехопорные устройства — робособаки. В ближайшее время в нашем портфеле ожидается пополнение — мы первыми в России получаем робота-гуманоида.

- Что представляет собой созданное вами решение?

Наше ПО для автономной навигации мобильных робоплатформ разработано на основе open source фреймворка Robot Operation System (ROS). Помимо мобильного приложения для контроля активности робота и перевода управления из автономного режима в ручной, оно включает в себя модули навигации в закрытых помещениях и на открытом пространстве. Софт позволяет строить карты территорий, сохранять маршруты движения роботов с необходимыми остановками и длительностью, распознавать препятствия на пути и передвигаться с их учетом. С помощью нейросетей робот огибает ямы, перешагивает барьеры, распознает разноуровневые поверхности и лестницы и адаптирует свое движение к ним.

- Что самое сложное в создании такой системы?

Основная сложность разработки такого ПО находятся в организационной плоскости. Самое трудное это собрать команду узкопрофильных специалистов: программистов по нейросетям, по 3D SLAM, экспертов по локализации, тестированию и пр. Сегодня это «задача со звездочкой». На рынке колоссальный дефицит кадров по робототехнике. В 2023 году Минцифры России оценивало потребность в 200 тыс. специалистов и признавало, что выпускников программ по робототехнике намного меньше.

Вторая трудность заключается в отсутствии не просто бенчмарков, но и референсов как таковых. То, что мы сейчас делаем, не делал никто — ни в нашей стране, ни в мире. Быть первопроходцем увлекательно, но нет опыта, на который можно было бы опереться. По сути, мы сейчас с нуля ищем решение задачи, которой ранее не стояло.

- Насколько серьезно «начинка» аппарата отличается в зависимости от используемой платформы – например, у робособаки по сравнению с гусеничной основой?

Роботы с двумя опорами стабильнее и проще по своей архитектуре. У робособаки четыре опоры, это более сложное с точки зрения навигации устройство. Поэтому бионические модели как минимум в 1,5 раза мощнее по производительности, чем колесно-гусеничные. Производительность зависит еще и от числа датчиков. Например, если устройство использует, помимо камеры и лидара, еще и звуковые датчики, GPS — это также увеличивает требования к объемам оперативной памяти.

- Откуда берутся данные для обучения нейросетей? О каких объемах идет речь?

Роботы учатся на фотографиях из Интернета. Например, чтобы он смог гарантированно открыть дверь рукой-манипулятором, используя дверную ручку, нужно загрузить в нейросеть не менее 1 тыс. фотографий дверных ручек. По аналогичной схеме мы учим роботов «видеть» ямы, лестницы, барьеры, которые можно просто перешагнуть, и пр.

- В чем «фишки» созданного вами решения?

В основном в устройствах, которые предлагаются на рынке, навигация — неотъемлемая часть роботизированной платформы. Наше ПО универсально. Оно успешно применяется на любой известной нам мобильной робоплатформе, поддерживающей определенный набор системных требований.

- Адекватно встроить робота в процессы компании — сложная задача?

Каждый кейс использования робота в технологическом процессе требует интеграции. Как это происходит? В первый раз на объект заказчика с роботом выезжают инженер и программист, чтобы построить карты территории и обучить персонал работать с устройством. Это базовый этап, которой может выявить необходимость в доработке ПО под уникальные условия заказчика.

- Как показывает практика, насколько сильно приходится адаптировать функционал под конкретных заказчиков, «дообучать» роботов?

ПО «Вектор» не может из коробки покрыть все возможные особенности ландшафта и задач заказчика. Они требуют отдельной проработки. Например, если на заводе есть перепад поверхности пола в 10 градусов, то в зависимости от окружения в цеху робот может распознать этот уклон как минус первый этаж. Нельзя спрогнозировать заранее, как устройство воспримет особенности ландшафта своими датчиками. Получается, что каждый проект предполагает кастомизацию решения, а будет ли она незначительной или существенной — зависит от объекта и требований заказчика.

- Какие результаты могут быть достигнуты с помощью применения робоплатформ?

Мобильные робоплатформы имеют большой потенциал использования в промышленности и строительстве — эти отрасли по умолчанию опасны для нахождения человека. Опыт применения роботов в этих сферах уже есть.

Робособаки использовались для проведения геодезических работ на строящихся объектах. Робот под управлением системы «Вектор» проходил заданные маршруты в помещениях стройплощадки. На робособаке было установлено сканирующее оборудование весом 2,5 кг. В отличие от колесных платформ, робособака свободно перемещается по помещениям и лестницам, перешагивает через препятствия. Сканирование пространства проводилось непрерывно, и на получение 3D-модели объекта площадью 2 тыс. кв. м затрачивалось 12 минут. Геодезисту высокой квалификации на выполнение этой задачи требуется порядка трех часов. При этом отклонения в 3D-модели помещения, полученного с помощью робота, не превышали 2 см. Созданная 3D-модель строительного объекта сравнивается с изначальным проектом, и это помогает быстро выявить ошибки и устранить их.

- Приведите другие примеры использования робоплатформ.

Один из кейсов — предотвращение потери металла на металлургическом заводе. Роботы определяют температуру оборудования, которое долго подвергается высокой температуре, и его структурные повреждения. Собранные данные в режиме реального времени передаются оператору. Это помогает предотвращать разрушение оборудования и многомиллионные потери из-за утечки металла. Похожий сценарий связан с диагностикой механических неисправностей в поездах. Робоплатформы проводят мониторинг колесных пар подвижного состава, выявляют перегрев технических узлов и дефекты.

Другое важное направление — охрана труда. Робоплатформа патрулирует производственную площадку и проверяет носят ли рабочие экипировку — каски и спецодежду. В результате одного такого проекта использование средств защиты выросло на 40%. Еще один вариант «полицейских» функций — выявление незаконного строительства. Мобильные роботы обходят заданную территорию и обнаруживают объекты, которых нет на официальных градостроительных планах. Для этого они используют загруженные проектные планы города и соотносят их с реалиями.

Если говорить об использовании специфического оборудования, то показательна история с газодетекцией. На нефтяном заводе мобильный робот используется для обнаружения опасных газов. Территория завода круглосуточно сканируется на утечки метана.

- Как вы видите развитие рынка робоплатформ? Какие направления наиболее перспективны?

Рынок робототехники в нашей стране уверенно развивается. В это направление вкладываются российские технологические гиганты, возникает множество нишевых стартапов. По нашим оценкам, объем рынка промышленных роботов в нашей стране по итогам 2023 года не превышает 1 млрд долл. Мы сейчас на этапе накопления экспертизы.

Потенциал в сегменте огромный. Правительство планирует увеличить на 20% число бюджетных мест для студентов по робототехнике. А эти специалисты могут обучаться только на робоплатформах. Соответственно, в ближайшее время роботы все больше будут проникать в сферу исследования и образования.

Еще одно направление использования мобильных роботов — сервисная сфера. Мы уже начинаем привыкать, что в клиниках, супермаркетах нас встречают роботы-разносчики, и эти проекты — только начало большого тренда.

Логистическая сфера также будет активно осваивать промышленную автоматизацию с помощью роботов. В этой области уже нет необходимости доказывать эффективность роботизированных устройств, они показывают быстрый результат и короткий срок окупаемости.

- Что нас отделяет от того, чтобы использование робоплатформ стало более массовым?

На макроуровне это неопределенность. Внедрение роботов чаще всего происходит в рамках инвестиционного проекта, а они расцветают, лишь когда возможно долгосрочное планирование. Второй барьер проникновения роботов в промышленную и городскую среду — ментальный. Пока поиск решения тех или иных задач происходит в привычной парадигме — например, есть потребность инспектировать территорию — нанимают сотрудника. Но за последнее время этому ходу мышления приходится меняться. Наши заказчики говорят, что им с каждым годом сложнее найти людей на позиции с простым функционалом, не требующим квалификации. Например, инспекторские и охранные вакансии попросту непривлекательны на рынке труда. И роботы как раз могут решить эту проблему.

Решение, внедряемое на «ОДК-Сатурн», включает в себя платформу на базе искусственного интеллекта «Точка контроля» и два роботизированных поста контроля для подачи лопаток, которые инспектируют камерами машинного зрения поверхности деталей и маркируют их. Платформа с помощью машинного зрения будет получать и обрабатывать изображения мелких дефектов полированных лопаток, которые сложно определяются человеческим глазом. Искусственный интеллект будет распознавать дефекты на основе анализа различных типов изображений.

Как отмечает директор по цифровой трансформации «ОДК-Сатурн» Евгений Алексеев, внедрение машинного зрения и искусственного интеллекта позволит почти вдвое повысить скорость выявления дефектов на поверхности лопаток газотурбинных двигателей. Кроме того, предприятие получит возможность анализировать и корректировать производственные процессы благодаря собираемым данным. После запуска платформы пропускная способность участков контроля ощутимо вырастет, что благоприятно скажется на выполнении масштабной производственной программы.

Проект реализуется в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».

Наиболее эффективный обжиг возможен тогда, когда в обжиговой машине преобладает доля окатышей класса 10-12,5 мм: так обеспечивается оптимальная пористость и газопроницаемость слоя при термообработке, что приводит к улучшению качества готовой продукции. Ранее у операторов не было индикатора, который мог бы точно определить эту долю: замеры проводились визуально, выборочно и в ручном режиме на основе лабораторных проб.

Теперь на основе анализа изображений с камер с высоким разрешением модель компьютерного зрения высчитывает гранулометрический состав сырых окатышей и предсказывает долю нужных классов. В зависимости от этого показателя регулируется скорость вращения окомкователя и дозировка бентонита и концентрата. Решение дает возможность не только контролировать процесс окомкования и управлять им, но и стандартизировать работу обжиговой машины. В результате использования модели производительность линии окомкования повысилась на 11% с сохранением качества продукции.

Как отмечает начальник управления цифровых технологий центра развития бизнес-системы железорудных активов «Северстали» Владимир Люшенко, в 2018 году на «Карельском окатыше» был реализован подобный проект, но без использования нейронной сети. Достигнутая сейчас достоверность определения грансостава на порядок выше, чем была ранее. Нейронная сеть более точно определяет контур и размеры окатышей, в том числе те, которые скрывает первый слой. Система позволяет вести непрерывный мониторинг в потоке, что обеспечивает автоматическое и оперативное принятие решения в системе управления линией окомкования.

По словам Светланы Потаповой, руководителя кластера «Искусственный интеллект» «Северстали», процесс окомкования очень сложный, необходимо учитывать много факторов для создания модели адаптивного управления. Решение стало уникальным для комбината симбиозом физического моделирования, алгоритмов машинного обучения и компьютерного зрения. При обучении модели использовались специальные регуляризаторы, которые помогли в шумных данных выявить правильные физические зависимости. Кроме того, она непрерывно уточняется и корректируется на основе данных, поступающих в режиме реального времени.

Модель компьютерного зрения, внедренная на «Северстали», получает изображения с камер с высоким разрешением и затем на специальном сервере с высокопроизводительными графическими процессорами обнаруживает и классифицирует дефекты на рулонах. После этого эксперты проводят аттестацию и принимают решение о соответствии продукции требованиям клиента. Для оценки качества работы модели отслеживаются две метрики некорректных срабатываний: «перебраковка» (как часто модель путает классы дефектов) и «недобраковка» (как часто модель не обнаруживает дефекты). Vera достигает уровней 12% и 14% соответственно, в то время как рыночные аналоги демонстрируют результаты более 30% и 15%.

Доля уведомлений заказчиков об отклонениях в качестве поверхности готовой продукции снизилась примерно в 1,8 раза за первую половину текущего года по сравнению с аналогичным периодом 2022 года. Экономический эффект за тот же период составил около 2 млн руб.

Модель непрерывно совершенствуется разработчиками «Северсталь Диджитал» совместно с экспертами Центра цифрового развития качества «Северстали», которые проводят ее дообучение. НТА-4 стал третьим агрегатом, на котором работает эта модель. Впервые ее внедрили на стане 2000 в 2020 году. В 2022 объем претензий клиентов по дефектам поверхности снизился в 1,5 раза по сравнению с 2021. Затем решение было масштабировано на НТА-3, где за год объем претензий сократился в 4,8 раза.

Решение, созданное в X5, позволяет бороться сразу с несколькими видами типичных ошибок. Например, если товар был поднесен к сканеру, но не отобразился в системе или если пользователь по ошибке пробил один товар под видом другого. Кроме того, благодаря нейросети касса самообслуживания теперь может подсказать, если покупатель некорректно разместил товар на весах. Искусственный интеллект поможет распознать количество и вид товаров, в том числе, кофе, алкоголь, схожие по виду овощи и фрукты, конфеты. На текущем этапе алгоритм различает категории и классы товаров, однако в процессе обучения он сможет распознавать сорта и виды продуктов.

В случае ошибки ИИ подскажет пользователю, какой товар был некорректно просканирован и при необходимости «позовет» сотрудника магазина, если покупатель не справится сам. При этом на экран кассы выведется изображение товара, на которое среагировала система. Ассистент кассовой зоны может видеть на рабочем планшете текущий статус работы всей кассовой зоны и дистанционно принять решение об отмене или корректировке покупки.

По итогам пилота, который проходил весной этого года в московских магазинах, доля ошибок в покупках на кассах самообслуживания снизилась на 10%.

При помощи камеры, которой оснащены кассы самообслуживания X5, а также системы машинного зрения, нейросеть в реальном времени анализирует видеопоток. Умный алгоритм работает непосредственно на компьютере, расположенном внутри кассы, и не задействует облачные мощности. Чтобы повысить точность распознавания, в терминалы была внедрена дополнительная камера, которая позволяет охватить всю рабочую зону перед кассой.

Система автоматизации подсчета круглого леса с помощью алгоритмов компьютерного зрения и машинного обучения внедряется на предприятиях Segezha Group в Карелии и Вологодской области с 2021 года. Согласно данным годового отчета холдинга, нейросети помогли им еще эффективнее контролировать сырьевой поток, значительно повысить точность измерений лесоматериалов, а также сократить время, затрачиваемое на измерение древесины ручным способом.

Со старта внедрения решения Smart Timber количество объектов его использования выросло. Была проведена интеграция с другими системами холдинга, значительно расширен функционал решения. В 2023 году планируется доработать и протестировать работу алгоритмов в составе программно-аппаратного комплекса и работу с разными интерфейсами взаимодействия, увеличить количество источников данных в системе Smart Timber и их детализацию.

Команда «Систем компьютерного зрения» регулярно совершенствует приложение и делает его еще удобнее для конечных пользователей. Последние обновления включают разработку автоматически размечаемого эталона. Приспособление представляет собой рейку с маркерами на концах – это позволяет автоматически отмечать эталон на изображении с высокой точностью и сокращать время измерения.

Партнерство компаний предусматривает внедрение существующих цифровых решений МТС на инфраструктуре «Россетей Урала», а также совместном развитии новых продуктов. В рамках соглашения МТС окажет содействие крупнейшей электросетевой компании Уральского федерального округа в автоматизации сбора показаний счетчиков абонентов, а также осуществлении мониторинга объектов «Россетей Урала» на предмет несанкционированных подключений к сетям.

Технологии машинного зрения для обследования электросетевых объектов в пилотном режиме начнут применять в Пермском крае. При успешной реализации проект будет масштабирован и на другие территории присутствия компании – в Челябинскую и Свердловскую области.

Кроме того, «Россети Урал» внедрят платформу EnergyTool по поиску коммерческих потерь в электросетях, работающего на базе технологий Big Data и искусственного интеллекта. Аналогичное решение, которое выявляет подозрительные участки потребления электроэнергии, уже внедряется в «Россети Сибирь».

Решение EnergyTool позволяет быстро обнаружить приборы учета, передающие заниженные показания, и выявить конкретные участки сети, на которых происходит хищение. Статистическая модель платформы анализирует энергопотребление абонентов на основе загруженных данных счетчиков и автоматизированных систем учета электроэнергии и выделяет характерные признаки хищений. Предположительные участки, где происходят хищения, отображаются на карте в интерфейсе, удобном для планирования выездов бригад.

Внедрение видеоаналитики в отделении МКБ — первый опыт комплексного использования компьютерного зрения в банковской индустрии для одновременного решения совершенно разных бизнес-задач, не ограниченных биометрией и кейсами безопасности. Банк предлагает новый подход к использованию ИИ-технологий и оцифровывает ту часть клиентского пути, которая обычно оставалась в «слепой» зоне. Возможность измерить удовлетворенность клиентов на всех этапах обслуживания помогает оптимизировать работу сотрудников.

Установленные в отделении камеры в режиме реального времени фиксируют вошедшего в офис человека и помогают отследить 100% клиентского пути. Видеоаналитика оценивает не только скорость и эффективность обслуживания, но и эмоциональное состояние клиента, пол, возраст и количество уникальных посетителей, время, проведенное в зоне ожидания, около банкоматов и терминалов электронной очереди.

Система видеоаналитики работает на базе платформы компьютерного зрения LUNA от VisionLabs. В ее основе лежат обученные нейронные сети, которые собирают всю необходимую информацию, используя два типа детекторов — распознавание лиц и распознавание силуэтов. Чтобы отличить клиента от сотрудника, система сравнивает его лицо с базой сотрудников, а также проверяет, что человек не носит форму сотрудников отделения.

Внедренная система позволяет собрать информацию о том, каково время ожидания, оперативно ли обслуживаются посетители, получают ли они своевременную помощь при возникновении трудностей с терминалом. Все это дает возможность получить достоверные данные о качестве обслуживания и проверить эффективность вносимых изменений. Кроме того, аналитика действий сотрудников офиса позволяет скорректировать их действия и является важным инструментом при их обучении.

Как отметил Александр Феденко, руководитель направления инновационных решений дирекции информационных технологий МКБ, банк увидел сценарии применения видеоаналитики, которые являются критическими для всех финансовых организаций, но которые оставались «нераспознанными» как самими банками, так и поставщиками решений. В ходе проекта инициирована продуктовая реализация сугубо банковских сценариев цифрового зрения, которые будут тиражироваться отраслью. До сих пор она ограничивалась переносом универсальных сценариев из ретейла, транспорта и промышленности.

Решение, запущенное на рыбинском предприятии «ОДК-Сатурн», позволило автоматизировать процесс оценки качества деталей авиационных двигателей и лопаток силовых установок и включает в себя использование передовых алгоритмов обработки изображений.

Новый способ автоматизированного люминесцентного контроля обеспечивает съемку всех поверхностей детали, поиск дефектов, расчет их геометрических характеристик, классификацию и определение годности изделия согласно нормативной документации. Данный способ позволяет выявлять все типы дефектов, в том числе трещины, корольки, спаи и др. Применение этого метода контроля в технологическом производственном процессе повышает точность и достоверность получаемых результатов.

Дополнительным эффектом от применения данного способа является формирование «цифрового следа» изготавливаемой продукции, который позволит проводить ретроспективную аналитику производственного процесса с целью его оптимизации.

Красноярская железная дорога соединяет транспортные потоки Европы, Азии и Дальнего Востока и является одной из ведущих по объемам грузов, при этом количество перевозок год от года только растет. Именно поэтому сокращение времени проверки состояния вагонов является важной составляющей для пропускной способности станции и всего транспортно-логистического процесса по железнодорожной сети.

Посты автоматизированного приема и диагностики подвижного состава устанавливаются на подъездах и выездах станции и обрабатывают порядка сотни технических параметров с помощью технологий машинного зрения, тензометрии

и лазерного сканирования, RFID, LPWAN. Комплексное решение с высокой точностью сканирует габариты, вес, размещение и крепление грузов, состояние узлов и порядковые номера вагонов, включая 3D-визуализацию в режиме реального времени. В результате еще до прибытия на станцию персонал получает чек-лист всех выявленных нарушений и неисправностей, что позволяет оптимизировать процессы обслуживания и ремонта подвижного состава, повышая безопасность рутинных работ на станции и минимизируя человеческий фактор.

Интегрированный пост автоматизированного приема и диагностики подвижного состава на сортировочных станциях является одним из элементов «Цифровой железнодорожной станции» и позволит обеспечить актуальными корректными сведениями все подразделения, использующие в процессе работы информацию о подвижном составе. На текущий момент компания «Транс-Телематика» построила более 20 постов на стратегически важных сортировочных станциях железнодорожной сети РЖД.