Компьютерное зрение

Интеллектуальная система цифрового контроля, созданная специалистами Softlogic на базе нейросетей, помогает городским коммунальным службам проводить ежедневный контроль улиц, дворов, множества объектов дорожного и коммунального хозяйства в масштабах всего города. Нейросеть полностью исключает временные затраты на сбор и первичный анализ зафиксированных состояний объектов. При классическом подходе с участием сотрудников это время измеряется часами. Решение предназначено для ведомств, ответственных за состояние дорожной инфраструктуры и содержание городских территорий. О реализации этого проекта рассказывает Александр Колесников, технический директор Softlogic и номинант на премию Data Award.

- Какова история проекта? На решение каких проблем он направлен?

К нам пришел запрос от одного из заказчиков: камеры существуют в городе везде, а что, если поместить камеру в автомобиль? Какой будет результат? Может ли ИИ выявлять ямы, выбоины, стертую дорожную разметку, повреждение бордюра и т. д.? С этого началась разработка продукта, исследования и тестирование.

Мобильный комплекс помогает контролировать благоустройство территорий, а также повысить качество жизни граждан.

- Почему это важно?

При обследовании инспектором в любом случае присутствует человеческий фактор. С помощью ИИ идет автоматическая оценка состояния объектов городской инфраструктуры. При этом автоматизируется работа городских служб, ускоряются и оптимизируются бизнес-процессы в работе госслужащих. С ИИ есть возможность собирать больше данных о нарушениях в содержании территорий в десятки раз. Это помогает быстрее и оперативнее реагировать и устранять нарушения. Мобильный комплекс – это эффективный инструмент, который поможет администрациям городов создавать комфортный город для жителей.

- Какие требования предъявлялись к создаваемому продукту, какие принципы пытались соблюсти?

От продукта требовали мобильность, автономность, надежность и точность. Мы придерживались принципа уникальности продукта, его масштабируемости и отказоустойчивости.

- Что представляет собой созданное решение?

В состав решения входят высокопроизводительный блок автономных вычислений, три камеры, три антенны и облачная платформа для вывода данных. Комплекс устанавливается в транспортное средство, внутри него расположены модули ИИ на базе искусственных нейронных сетей.

Графические процессоры, входящие в комплекс, получают видеоизображения с камер, далее нейросеть проводит оценку состояния попавших на них объектов. Затем с помощью GPS/ГЛОНАСС к кадрам с нарушениями добавляются данные о местонахождении нарушений и времени их фиксации. После этого данные передаются в облачную платформу sl.vision – нашу собственную разработку, позволяющую пользователям без дополнительного обучения использовать ИИ-аналитику в управленческих целях.

- В какие сроки, какими силами реализована система?

В 2018 году началась разработка продукта. В 2019 появилась первая версия мобильного комплекса, в 2021 постепенно началась эксплуатация комплекса в регионах.

- Где уже применяется решение, каких результатов удалось достичь?

Важно отметить операционную эффективность автономного мобильного комплекса нейросетевого наблюдения, в том числе ускоренное решение возникающих проблем и исключение подлогов при проверках. Процесс сбора данных становится фоновым, силы сотрудников перенаправляют на более сложные задачи, достигается полная объективность оценки.

По данным Главного управления содержания территорий Московской области, автомобили, оснащенные комплексами ИИ, в 18 раз чаще выявляют дефекты по сравнению с инспектором и сокращают время реагирования и устранения проблем в содержании городских территорий. Уменьшение человеческого фактора в вопросе отслеживания нарушений позволяет улучшить качество городской среды. В Подмосковье за полгода использования комплекса удалось на 40% снизить количество жалоб со стороны горожан и на 25% снизить количество выявляемых замечаний, так как качество городской среды улучшилось.

- А с финансовой точки зрения?

Возможен рост доходов за счет собираемых штрафов. Средний финансовый поток от штрафов за обнаруженные системой нарушения – 5 млн руб. ежемесячно. К примеру, штраф за нарушение содержания территорий составляет до 100 тыс. руб. для юридических лиц и до 40 тыс. руб. для должностных лиц.

- В чем роль проекта для государства и общества?

Мы уверены, что системы видеонаблюдения и безопасности должны приносить максимальную пользу бизнесу и государству. Поэтому мы создаем программно-аппаратные комплексы нейросетевого наблюдения, которые обеспечивают комфортную и безопасную городскую среду для граждан и успешное функционирование бизнеса разных отраслей.

- Каковы дальнейшие направления развития проекта?

Мы постоянно совершенствуем и дорабатываем программно-аппаратные комплексы нейросетевого наблюдения. В планах охватить ими другие социально-значимые проблемы: обучить нейронную сеть определять сосульки и борщевик, доработать функционал неправильной парковки, а также расширить функционал комплекса для дорожных служб.

Мобильные робоплатформы способны заменить человека в выполнении рутинных процедур. Они действуют точно и быстро, ограждая человека от работы в опасных условиях. Роботы — колесные, гусеничные, четырехопорные, — могут передвигаться без вмешательства человека, собирать данные и передавать их для решения разного рода задач. Компания 3Logic Group создала ПО «Вектор» для автономной навигации мобильных роботов. Об этом проекте и возможностях интеграции роботов в технологические процессы рассказывает Илья Каинов, руководитель направления роботизированных систем 3Logic Group и номинант на премию Data Award.

- Насколько востребованы робоплатформы нынешними компаниями? Какой портрет типичного клиента?

Мы видим колоссальный интерес к роботизации. Как доказательство — за первые два месяца этого года мы получили больше запросов с рынка, чем за весь 2022 год.

В основном мы работаем с крупными компаниями добывающего сектора. Это зрелые компании с развитым направлением цифровизации и выделенными инвестициями на проекты. Они находятся в поиске решений своих задач совсем на ином уровне инноваций.

- Каковы типичные варианты их использования?

Классическая задача для робота — собирать, анализировать и передавать данные разного формата. В базовых сценариях, без использования дополнительного оборудования роботы фиксируют фото- и видеоизображение, используют средства видеоаналитики.

Если робоплатформа применяется для специфических задач, то на нее устанавливается дополнительное оборудование — лидары (лазерные радары), газовые анализаторы, тепловизоры и пр. Информация с оборудования в режиме реального времени передается оператору, либо записывается на внутренний носитель платформы и обрабатывается после возвращения на домашнюю станцию.

- С какими роботами вы работаете?

Экспертиза нашей команды сосредоточена на мобильных роботах. Это колесно-гусеничные и четырехопорные устройства — робособаки. В ближайшее время в нашем портфеле ожидается пополнение — мы первыми в России получаем робота-гуманоида.

- Что представляет собой созданное вами решение?

Наше ПО для автономной навигации мобильных робоплатформ разработано на основе open source фреймворка Robot Operation System (ROS). Помимо мобильного приложения для контроля активности робота и перевода управления из автономного режима в ручной, оно включает в себя модули навигации в закрытых помещениях и на открытом пространстве. Софт позволяет строить карты территорий, сохранять маршруты движения роботов с необходимыми остановками и длительностью, распознавать препятствия на пути и передвигаться с их учетом. С помощью нейросетей робот огибает ямы, перешагивает барьеры, распознает разноуровневые поверхности и лестницы и адаптирует свое движение к ним.

- Что самое сложное в создании такой системы?

Основная сложность разработки такого ПО находятся в организационной плоскости. Самое трудное это собрать команду узкопрофильных специалистов: программистов по нейросетям, по 3D SLAM, экспертов по локализации, тестированию и пр. Сегодня это «задача со звездочкой». На рынке колоссальный дефицит кадров по робототехнике. В 2023 году Минцифры России оценивало потребность в 200 тыс. специалистов и признавало, что выпускников программ по робототехнике намного меньше.

Вторая трудность заключается в отсутствии не просто бенчмарков, но и референсов как таковых. То, что мы сейчас делаем, не делал никто — ни в нашей стране, ни в мире. Быть первопроходцем увлекательно, но нет опыта, на который можно было бы опереться. По сути, мы сейчас с нуля ищем решение задачи, которой ранее не стояло.

- Насколько серьезно «начинка» аппарата отличается в зависимости от используемой платформы – например, у робособаки по сравнению с гусеничной основой?

Роботы с двумя опорами стабильнее и проще по своей архитектуре. У робособаки четыре опоры, это более сложное с точки зрения навигации устройство. Поэтому бионические модели как минимум в 1,5 раза мощнее по производительности, чем колесно-гусеничные. Производительность зависит еще и от числа датчиков. Например, если устройство использует, помимо камеры и лидара, еще и звуковые датчики, GPS — это также увеличивает требования к объемам оперативной памяти.

- Откуда берутся данные для обучения нейросетей? О каких объемах идет речь?

Роботы учатся на фотографиях из Интернета. Например, чтобы он смог гарантированно открыть дверь рукой-манипулятором, используя дверную ручку, нужно загрузить в нейросеть не менее 1 тыс. фотографий дверных ручек. По аналогичной схеме мы учим роботов «видеть» ямы, лестницы, барьеры, которые можно просто перешагнуть, и пр.

- В чем «фишки» созданного вами решения?

В основном в устройствах, которые предлагаются на рынке, навигация — неотъемлемая часть роботизированной платформы. Наше ПО универсально. Оно успешно применяется на любой известной нам мобильной робоплатформе, поддерживающей определенный набор системных требований.

- Адекватно встроить робота в процессы компании — сложная задача?

Каждый кейс использования робота в технологическом процессе требует интеграции. Как это происходит? В первый раз на объект заказчика с роботом выезжают инженер и программист, чтобы построить карты территории и обучить персонал работать с устройством. Это базовый этап, которой может выявить необходимость в доработке ПО под уникальные условия заказчика.

- Как показывает практика, насколько сильно приходится адаптировать функционал под конкретных заказчиков, «дообучать» роботов?

ПО «Вектор» не может из коробки покрыть все возможные особенности ландшафта и задач заказчика. Они требуют отдельной проработки. Например, если на заводе есть перепад поверхности пола в 10 градусов, то в зависимости от окружения в цеху робот может распознать этот уклон как минус первый этаж. Нельзя спрогнозировать заранее, как устройство воспримет особенности ландшафта своими датчиками. Получается, что каждый проект предполагает кастомизацию решения, а будет ли она незначительной или существенной — зависит от объекта и требований заказчика.

- Какие результаты могут быть достигнуты с помощью применения робоплатформ?

Мобильные робоплатформы имеют большой потенциал использования в промышленности и строительстве — эти отрасли по умолчанию опасны для нахождения человека. Опыт применения роботов в этих сферах уже есть.

Робособаки использовались для проведения геодезических работ на строящихся объектах. Робот под управлением системы «Вектор» проходил заданные маршруты в помещениях стройплощадки. На робособаке было установлено сканирующее оборудование весом 2,5 кг. В отличие от колесных платформ, робособака свободно перемещается по помещениям и лестницам, перешагивает через препятствия. Сканирование пространства проводилось непрерывно, и на получение 3D-модели объекта площадью 2 тыс. кв. м затрачивалось 12 минут. Геодезисту высокой квалификации на выполнение этой задачи требуется порядка трех часов. При этом отклонения в 3D-модели помещения, полученного с помощью робота, не превышали 2 см. Созданная 3D-модель строительного объекта сравнивается с изначальным проектом, и это помогает быстро выявить ошибки и устранить их.

- Приведите другие примеры использования робоплатформ.

Один из кейсов — предотвращение потери металла на металлургическом заводе. Роботы определяют температуру оборудования, которое долго подвергается высокой температуре, и его структурные повреждения. Собранные данные в режиме реального времени передаются оператору. Это помогает предотвращать разрушение оборудования и многомиллионные потери из-за утечки металла. Похожий сценарий связан с диагностикой механических неисправностей в поездах. Робоплатформы проводят мониторинг колесных пар подвижного состава, выявляют перегрев технических узлов и дефекты.

Другое важное направление — охрана труда. Робоплатформа патрулирует производственную площадку и проверяет носят ли рабочие экипировку — каски и спецодежду. В результате одного такого проекта использование средств защиты выросло на 40%. Еще один вариант «полицейских» функций — выявление незаконного строительства. Мобильные роботы обходят заданную территорию и обнаруживают объекты, которых нет на официальных градостроительных планах. Для этого они используют загруженные проектные планы города и соотносят их с реалиями.

Если говорить об использовании специфического оборудования, то показательна история с газодетекцией. На нефтяном заводе мобильный робот используется для обнаружения опасных газов. Территория завода круглосуточно сканируется на утечки метана.

- Как вы видите развитие рынка робоплатформ? Какие направления наиболее перспективны?

Рынок робототехники в нашей стране уверенно развивается. В это направление вкладываются российские технологические гиганты, возникает множество нишевых стартапов. По нашим оценкам, объем рынка промышленных роботов в нашей стране по итогам 2023 года не превышает 1 млрд долл. Мы сейчас на этапе накопления экспертизы.

Потенциал в сегменте огромный. Правительство планирует увеличить на 20% число бюджетных мест для студентов по робототехнике. А эти специалисты могут обучаться только на робоплатформах. Соответственно, в ближайшее время роботы все больше будут проникать в сферу исследования и образования.

Еще одно направление использования мобильных роботов — сервисная сфера. Мы уже начинаем привыкать, что в клиниках, супермаркетах нас встречают роботы-разносчики, и эти проекты — только начало большого тренда.

Логистическая сфера также будет активно осваивать промышленную автоматизацию с помощью роботов. В этой области уже нет необходимости доказывать эффективность роботизированных устройств, они показывают быстрый результат и короткий срок окупаемости.

- Что нас отделяет от того, чтобы использование робоплатформ стало более массовым?

На макроуровне это неопределенность. Внедрение роботов чаще всего происходит в рамках инвестиционного проекта, а они расцветают, лишь когда возможно долгосрочное планирование. Второй барьер проникновения роботов в промышленную и городскую среду — ментальный. Пока поиск решения тех или иных задач происходит в привычной парадигме — например, есть потребность инспектировать территорию — нанимают сотрудника. Но за последнее время этому ходу мышления приходится меняться. Наши заказчики говорят, что им с каждым годом сложнее найти людей на позиции с простым функционалом, не требующим квалификации. Например, инспекторские и охранные вакансии попросту непривлекательны на рынке труда. И роботы как раз могут решить эту проблему.