Компьютерное зрение

Модель компьютерного зрения, внедренная на «Северстали», получает изображения с камер с высоким разрешением и затем на специальном сервере с высокопроизводительными графическими процессорами обнаруживает и классифицирует дефекты на рулонах. После этого эксперты проводят аттестацию и принимают решение о соответствии продукции требованиям клиента. Для оценки качества работы модели отслеживаются две метрики некорректных срабатываний: «перебраковка» (как часто модель путает классы дефектов) и «недобраковка» (как часто модель не обнаруживает дефекты). Vera достигает уровней 12% и 14% соответственно, в то время как рыночные аналоги демонстрируют результаты более 30% и 15%.

Доля уведомлений заказчиков об отклонениях в качестве поверхности готовой продукции снизилась примерно в 1,8 раза за первую половину текущего года по сравнению с аналогичным периодом 2022 года. Экономический эффект за тот же период составил около 2 млн руб.

Модель непрерывно совершенствуется разработчиками «Северсталь Диджитал» совместно с экспертами Центра цифрового развития качества «Северстали», которые проводят ее дообучение. НТА-4 стал третьим агрегатом, на котором работает эта модель. Впервые ее внедрили на стане 2000 в 2020 году. В 2022 объем претензий клиентов по дефектам поверхности снизился в 1,5 раза по сравнению с 2021. Затем решение было масштабировано на НТА-3, где за год объем претензий сократился в 4,8 раза.

Решение, созданное в X5, позволяет бороться сразу с несколькими видами типичных ошибок. Например, если товар был поднесен к сканеру, но не отобразился в системе или если пользователь по ошибке пробил один товар под видом другого. Кроме того, благодаря нейросети касса самообслуживания теперь может подсказать, если покупатель некорректно разместил товар на весах. Искусственный интеллект поможет распознать количество и вид товаров, в том числе, кофе, алкоголь, схожие по виду овощи и фрукты, конфеты. На текущем этапе алгоритм различает категории и классы товаров, однако в процессе обучения он сможет распознавать сорта и виды продуктов.

В случае ошибки ИИ подскажет пользователю, какой товар был некорректно просканирован и при необходимости «позовет» сотрудника магазина, если покупатель не справится сам. При этом на экран кассы выведется изображение товара, на которое среагировала система. Ассистент кассовой зоны может видеть на рабочем планшете текущий статус работы всей кассовой зоны и дистанционно принять решение об отмене или корректировке покупки.

По итогам пилота, который проходил весной этого года в московских магазинах, доля ошибок в покупках на кассах самообслуживания снизилась на 10%.

При помощи камеры, которой оснащены кассы самообслуживания X5, а также системы машинного зрения, нейросеть в реальном времени анализирует видеопоток. Умный алгоритм работает непосредственно на компьютере, расположенном внутри кассы, и не задействует облачные мощности. Чтобы повысить точность распознавания, в терминалы была внедрена дополнительная камера, которая позволяет охватить всю рабочую зону перед кассой.

Система автоматизации подсчета круглого леса с помощью алгоритмов компьютерного зрения и машинного обучения внедряется на предприятиях Segezha Group в Карелии и Вологодской области с 2021 года. Согласно данным годового отчета холдинга, нейросети помогли им еще эффективнее контролировать сырьевой поток, значительно повысить точность измерений лесоматериалов, а также сократить время, затрачиваемое на измерение древесины ручным способом.

Со старта внедрения решения Smart Timber количество объектов его использования выросло. Была проведена интеграция с другими системами холдинга, значительно расширен функционал решения. В 2023 году планируется доработать и протестировать работу алгоритмов в составе программно-аппаратного комплекса и работу с разными интерфейсами взаимодействия, увеличить количество источников данных в системе Smart Timber и их детализацию.

Команда «Систем компьютерного зрения» регулярно совершенствует приложение и делает его еще удобнее для конечных пользователей. Последние обновления включают разработку автоматически размечаемого эталона. Приспособление представляет собой рейку с маркерами на концах – это позволяет автоматически отмечать эталон на изображении с высокой точностью и сокращать время измерения.

Партнерство компаний предусматривает внедрение существующих цифровых решений МТС на инфраструктуре «Россетей Урала», а также совместном развитии новых продуктов. В рамках соглашения МТС окажет содействие крупнейшей электросетевой компании Уральского федерального округа в автоматизации сбора показаний счетчиков абонентов, а также осуществлении мониторинга объектов «Россетей Урала» на предмет несанкционированных подключений к сетям.

Технологии машинного зрения для обследования электросетевых объектов в пилотном режиме начнут применять в Пермском крае. При успешной реализации проект будет масштабирован и на другие территории присутствия компании – в Челябинскую и Свердловскую области.

Кроме того, «Россети Урал» внедрят платформу EnergyTool по поиску коммерческих потерь в электросетях, работающего на базе технологий Big Data и искусственного интеллекта. Аналогичное решение, которое выявляет подозрительные участки потребления электроэнергии, уже внедряется в «Россети Сибирь».

Решение EnergyTool позволяет быстро обнаружить приборы учета, передающие заниженные показания, и выявить конкретные участки сети, на которых происходит хищение. Статистическая модель платформы анализирует энергопотребление абонентов на основе загруженных данных счетчиков и автоматизированных систем учета электроэнергии и выделяет характерные признаки хищений. Предположительные участки, где происходят хищения, отображаются на карте в интерфейсе, удобном для планирования выездов бригад.

Внедрение видеоаналитики в отделении МКБ — первый опыт комплексного использования компьютерного зрения в банковской индустрии для одновременного решения совершенно разных бизнес-задач, не ограниченных биометрией и кейсами безопасности. Банк предлагает новый подход к использованию ИИ-технологий и оцифровывает ту часть клиентского пути, которая обычно оставалась в «слепой» зоне. Возможность измерить удовлетворенность клиентов на всех этапах обслуживания помогает оптимизировать работу сотрудников.

Установленные в отделении камеры в режиме реального времени фиксируют вошедшего в офис человека и помогают отследить 100% клиентского пути. Видеоаналитика оценивает не только скорость и эффективность обслуживания, но и эмоциональное состояние клиента, пол, возраст и количество уникальных посетителей, время, проведенное в зоне ожидания, около банкоматов и терминалов электронной очереди.

Система видеоаналитики работает на базе платформы компьютерного зрения LUNA от VisionLabs. В ее основе лежат обученные нейронные сети, которые собирают всю необходимую информацию, используя два типа детекторов — распознавание лиц и распознавание силуэтов. Чтобы отличить клиента от сотрудника, система сравнивает его лицо с базой сотрудников, а также проверяет, что человек не носит форму сотрудников отделения.

Внедренная система позволяет собрать информацию о том, каково время ожидания, оперативно ли обслуживаются посетители, получают ли они своевременную помощь при возникновении трудностей с терминалом. Все это дает возможность получить достоверные данные о качестве обслуживания и проверить эффективность вносимых изменений. Кроме того, аналитика действий сотрудников офиса позволяет скорректировать их действия и является важным инструментом при их обучении.

Как отметил Александр Феденко, руководитель направления инновационных решений дирекции информационных технологий МКБ, банк увидел сценарии применения видеоаналитики, которые являются критическими для всех финансовых организаций, но которые оставались «нераспознанными» как самими банками, так и поставщиками решений. В ходе проекта инициирована продуктовая реализация сугубо банковских сценариев цифрового зрения, которые будут тиражироваться отраслью. До сих пор она ограничивалась переносом универсальных сценариев из ретейла, транспорта и промышленности.

Решение, запущенное на рыбинском предприятии «ОДК-Сатурн», позволило автоматизировать процесс оценки качества деталей авиационных двигателей и лопаток силовых установок и включает в себя использование передовых алгоритмов обработки изображений.

Новый способ автоматизированного люминесцентного контроля обеспечивает съемку всех поверхностей детали, поиск дефектов, расчет их геометрических характеристик, классификацию и определение годности изделия согласно нормативной документации. Данный способ позволяет выявлять все типы дефектов, в том числе трещины, корольки, спаи и др. Применение этого метода контроля в технологическом производственном процессе повышает точность и достоверность получаемых результатов.

Дополнительным эффектом от применения данного способа является формирование «цифрового следа» изготавливаемой продукции, который позволит проводить ретроспективную аналитику производственного процесса с целью его оптимизации.

Красноярская железная дорога соединяет транспортные потоки Европы, Азии и Дальнего Востока и является одной из ведущих по объемам грузов, при этом количество перевозок год от года только растет. Именно поэтому сокращение времени проверки состояния вагонов является важной составляющей для пропускной способности станции и всего транспортно-логистического процесса по железнодорожной сети.

Посты автоматизированного приема и диагностики подвижного состава устанавливаются на подъездах и выездах станции и обрабатывают порядка сотни технических параметров с помощью технологий машинного зрения, тензометрии

и лазерного сканирования, RFID, LPWAN. Комплексное решение с высокой точностью сканирует габариты, вес, размещение и крепление грузов, состояние узлов и порядковые номера вагонов, включая 3D-визуализацию в режиме реального времени. В результате еще до прибытия на станцию персонал получает чек-лист всех выявленных нарушений и неисправностей, что позволяет оптимизировать процессы обслуживания и ремонта подвижного состава, повышая безопасность рутинных работ на станции и минимизируя человеческий фактор.

Интегрированный пост автоматизированного приема и диагностики подвижного состава на сортировочных станциях является одним из элементов «Цифровой железнодорожной станции» и позволит обеспечить актуальными корректными сведениями все подразделения, использующие в процессе работы информацию о подвижном составе. На текущий момент компания «Транс-Телематика» построила более 20 постов на стратегически важных сортировочных станциях железнодорожной сети РЖД.

Как отмечают в КАМАЗе, повышение точности учета деталей при производстве сложных изделий может привести к значительному сокращению издержек. Однако номенклатура деталей на производстве включает более 10 тыс. артикулов. Быстрая и безошибочная идентификация каждой детали, подсчет и внесение данных в журналы учета является сложной задачей. Например, один готовый автомобиль содержит тысячи уникальных деталей, каждая из которых проходит свой путь на предприятии, включая производство на нескольких переделах, логистику, хранение. Важно проследить этот путь, учесть количество деталей и заготовок на каждом этапе, чтобы обеспечить стабильность и ритмичность производства, сократить потери, улучшить качество диспетчеризации и производственного планирования.

Автоматизировать этот процесс позволяет технология машинного зрения. Математическая модель, лежащая в ее основе, надежно распознает и подсчитывает детали, даже если в кадре появляется человек, изменяется освещение или фон. При этом можно использовать обычные веб-камеры, не оснащенные искусственным интеллектом, поскольку основная аналитика ведется на стандартном компьютерном сервере. Система, разработанная компанией «Моделирование и цифровые двойники», обеспечивает точность распознавания в диапазоне 95-99%.

Распознавание деталей

Пилотный проект покрывает один крупный производственный участок, где ведется окраска деталей грузовых автомобилей. Система распознает детали, движущиеся на подвесном конвейере, подсчитывает их количество для дальнейшего учета и сверки. Для этого участка характерны многие неблагоприятные факторы, мешающие работать системам машинного зрения – в поле обзора видеокамер попадают посторонние объекты, конвейер с деталями движется неравномерно, специального освещения не предусмотрено. При этом необходимо было учесть следующие требования:

• Система должна гарантировать устойчивую и быструю работу со всем номенклатурным рядом деталей – идентификацию, подсчет, сравнение.
• Система не должна требовать чрезмерных вычислительных мощностей для своей работы.
• Система не должна делать ошибки при подсчете (не более, чем при ручном подсчете).
• Научить систему идентифицировать новую деталь на производстве должно быть достаточно просто и не требовать больших трудозатрат.

Последнее требование особенно важно, поскольку внесение новых деталей в систему – это не просто ввод цифровых артикулов, а внесение множества образов и последующее обучение математической модели.

В рамках пилотного проекта были реализованы два основных сценария: автоматическое распознавание деталей на конвейере и распознавание детали с помощью мобильного устройства. В первом случае камера закреплена в определенной области конвейера, непрерывно снимая поток деталей и автоматически внося свои показания в ERP-систему. В результате происходит точное распознавание деталей и подсчет их количества, а далее система сверяет данные с количеством в учетной системе.

Во втором сценарии сотрудник открывает на смартфоне специально подготовленную веб-страницу мобильной части системы распознавания деталей. Когда технику во время сортировки нужно было определить деталь, достаточно было навести его камеру на деталь, сделать снимок и получить на экране ее артикул.

На сегодняшний день в рамках обучения и тестирования моделей стационарной и мобильной систем распознавания, выполнен ряд задач:

• Подготовлены фотографии деталей для обучения моделей стационарной и мобильной систем.
• Выполнена разметка образцов деталей для стационарной системы.
• Произведено обучение модели на размеченных образцах деталей.
• Выполнено тестирование модели на образцах деталей, которые не участвовали в процессе обучения модели.

Для того чтобы масштабировать систему, экспертам предстоит решить одну из ключевых задач – быстро внести в модель образы всех деталей, выпускаемых предприятием. Десятки тысяч деталей нельзя заносить вручную поштучно – этот процесс потребует значительных временных затрат. Кроме того, это минимизирует эффекты от системы при том, что, по прогнозам экспертов, целевой срок ее окупаемости – не более 1,5 лет. Для решения этой задачи будет создан программный «конвейер» по автоматизации внесения деталей – он позволит образу детали проходить путь от 3D-модели, разработанной конструктором, до модели машинного зрения с минимальным участием человека.

Управление процессом выпуска стали ранее производилось на основе визуальной оценки сталевара. Он следил за потоком стали через защитные очки и ориентировался на его цвет, шум, искры и свой опыт. Условия выплавки сопровождаются высокой степенью задымленности, что зачастую не позволяет точно определить момент проникновения шлака даже опытному специалисту. Это приводит к тому, что вместе с металлом в сталеразливочный ковш попадает печной переокисленный шлак.

Для снижения попадания шлака в ковш было внедрено комплексное решение «Datana Sense. Детектирование шлака на выпуске». Оно отслеживает выпуск стали, визуально подсвечивая шлак в потоке, а при превышении допустимого уровня выдает светозвуковой сигнал. Контроль выпуска производится с помощью инфракрасной камеры дальнего спектра, которая позволяет «видеть» сквозь задымленность, и модуля искусственного интеллекта, точно детектирующего наличие печного шлака в потоке.

По экспертной оценке специалистов АЭМЗ, в результате внедрения Datana Sense потенциальная экономия раскислителей, ферросплавов и шлакообразующих материалов может составить 10%, а снижение потребления электроэнергии до 5%.

В основе нового сервиса задействована платформа компьютерного зрения Luna, разработанная VisionLabs. Для подтверждения личности клиенту достаточно посмотреть в web-камеру в салоне МТС. Система фиксирует лицо, выбирает лучший кадр и извлекает из изображения биометрический шаблон, после чего сравнивает его с имеющейся базой данных. Если совпадение найдено, операция будет одобрена.

Чтобы пользоваться беспаспортным обслуживанием, абонент после предоставления своего письменного согласия должен сфотографироваться в салоне МТС – занести цифровой «слепок» своего лица в платформу биометрической идентификации. После этого клиент без предъявления документа, удостоверяющего личность, может безопасно и быстро воспользоваться всеми доступными сервисами: менять номер, SIM-карту, тарифные планы, подключать и отключать услуги, проводить другие операции.

Как отмечает Инесса Галактионова, первый вице-президент по телекоммуникационному бизнесу МТС, запуск платформы компьютерного зрения стал важным шагом для обеспечения комфортной, безопасной и бесшовной идентификации клиентов в рамках экосистемных сервисов МТС. Помимо экономии времени клиентов, это поможет реализовать возможность удаленного обслуживания из любой точки мира.