Екатерина Линкевич, директор по данным компании «Самолет», – о создании интеллектуальной системы мониторинга процессов стройки с помощью видеоаналитики.
Читать...
Девелоперская компания «Самолет» повысила производительность труда на своих стройках за счет интеллектуальной системы мониторинга, позволяющей оперативно реагировать на любые отклонения от планов. Решение уже показало эффективность в сокращении сроков строительства на 5%, а снижение себестоимости строительства может достигнуть 1,5%. О реализации проекта рассказывает Екатерина Линкевич, директор по данным компании «Самолет» и номинант на премию Data Award.
- В чем заключалась бизнес-проблема?
Производительность труда в строительной отрасли в мире не растет с начала 1990-х годов. Расходы, связанные со строительством, составляют 13% от мирового ВВП, что в денежном эквиваленте оценивается в 1,6 трлн долл. В России этот показатель на уровне 6% от ВВП или 5,5 трлн руб. Ежегодный прирост производительности сектора составлял в среднем 1% за последние 20 лет.
Группа «Самолет» — одна из крупнейших девелоперских компаний в России, с портфелем текущего строительства 3,3 млн кв. м и земельным банком в 34,2 млн кв. м реализуемой площади. Перед нами стояла непростая задача: по производительности труда приблизиться к показателям Китая и США, которые в полтора раза выше российского. Ключевым моментом в повышении эффективности стройки является выполнение плановых показателей и соблюдение техники безопасности, контроль за выполнением строительно-монтажных работ и подготовка квартир к сдаче.
В первую очередь нас интересовала автоматизация контроля и своевременного реагирования на отклонения от плановых показателей во время всего хода строительства жилых домов. На группу «Самолет» работает большое количество подрядных организаций, поэтому довольно сложно самостоятельно контролировать фактически выполненные объемы стройки, и приходится доверять статистке подрядчиков. Не меньшую роль играет контроль отделочных работ – чистовой и черновой отделки, наличия санфаянса и мебели, наличия мусора внутри квартиры после завершения работ. Необходимо создание системы, которая повысит качество контроля и исключит возможность пропуска специалистами тех или иных помещений. Наконец, нужна автоматизация мониторинга наличия ограждений на открытых участках на протяжении всего хода строительства. Строительная площадка – территория повышенной опасности, несоблюдение правил техники безопасности может стоить жизни. И здесь наша задача – создать решение, которое может автоматически выявлять факты нарушения и с помощью системы штрафов исключить прецеденты.
- Как пришла идея мониторинга с помощью видеоаналитики?
Мы стремимся к тому, чтобы стать data-driven компанией, где 100% бизнес-процессов автоматизированы, а решения принимаются на основании данных. С учетом большого количества процессов, мы приоритезировали наши активности по доле трудозатрат в соотношении к потенциальному эффекту для компании и их реализуемости. Себестоимость стройки занимает 60-75% всех затрат компании, поэтому данное направление стало одним из приоритетных. Далее, в рамках анализа инициатив и потенциальных эффектов, мы поняли, что замена ручного труда при управлении стройкой может привести не только к росту производительности, но и к повышению безопасности, существенно повлиять на снижение себестоимости. Так мы выбрали список инициатив, которые приводят компанию к заявленным бенчмаркам эффективности и начали их параллельную разработку и внедрение.
- Какие требования предъявлялись к решению?
Все требования можно разделить на несколько верхнеуровневых блоков. Основными из них были сокращение времени фиксации прогресса и нарушений для каждого корпуса на 95%, сокращение количества нарушений и штрафов до 65%, сокращение инцидентов на стройке до 50%, сокращение времени строительства до 20%.
Нам нужно было создать решение, позволяющее передавать данные в текущие мастер-системы, которые уже используются командой ведения эффективного процесса строительства, и реализовать ролевую модель своевременного оперативного информирования и реагирования задействованных сотрудников на стройке (включая топ-менеджмент компании) через оперативные каналы коммуникаций.
Для внешнего мониторинга стройки требовалось обеспечить ежедневный мониторинг прогресса строительства за счет получения видеопотока с камер, его обработки, и автоматического сравнения с плановыми показателями по монолиту, кладке и окнам, наличию защитных сеток. Для мониторинга внутренних отделочных работ был нужен еженедельный мониторинг прогресса черновых и чистовых работ за счет получения данных с переносных камер сотрудников. Подразумевается фиксация этажа, корпуса, здания в специальном приложении и обработка видеопотока с последующим автоматическим сравнением с плановыми показателями по отделке – пол, потолок, двери, сантехника, радиаторы, электрика и т.п. При этом время обработки видео с одного этажа не должно превышать 30 секунд.
- Какие технологии использованы при разработке?
Все решение можно разделить на несколько компонентов. Внешняя оболочка – это панель администратора с настроенными отчетами, оповещениями и метриками, построенная на Python, Flask и шаблонизаторе Jinja. Этот сервис включает в себя мониторинг хода строительства с настроенными отчетами, алертами и метриками, а также инструментарий для возможности расширения количества объектов для внедрения системы мониторинга. Мониторинг поддерживает прием данных с фото-ловушек, дронов, камер видеонаблюдения. Выполняемые алгоритмы решения реализованы на Pytorch, MMDetection, Numpy, Pandas, OpenCV и Timm. Мобильное приложение для сбора данных о внутренней отделке – Javascript и Capacitor. Бэкенд продукта построен на Airflow, SQLAlchemy, FFmpeg, Minio, PySpark, Flask и Telegram. Он представлен в виде конвейера, который по расписанию собирает изображения с источников, отдает их на обработку модели машинного обучения, сохраняет и перемещает все изображения и метаданные на всех этапах, формирует и отправляет отчеты.
- Что потребовалось сделать, чтобы обеспечить систему данными?
Нашей главной задачей было получение корректного видеопотока для дальнейшей обработки.
Если говорить о внешнем мониторинге, то одной из самых сложных проблем было обеспечение бесперебойного канала получения видеопотока со строительных площадок. Как вы понимаете, стройка – это постоянно развивающаяся и меняющаяся среда, в процесс работы на площадке вовлечено очень большое количество сотрудников разных профилей. На каждом проекте работает своя команда, у них свои правила и особенности. И вот в таких условиях, наверное, самым тяжелым было выстроить организованную работу всех команд на всех площадках. В перечень таких работ входило составление плана по монтажу устройств, замер необходимого расстояния, обеспечение точек энергопитанием, непосредственно сам монтаж устройств, корректировка ракурсов, заведение данных в систему обработки и много всего прочего.
Для некоторых объектов установка дополнительных камер и создание соответствующей инфраструктуры было дорогим мероприятием, а иногда и вовсе невозможным – например, когда нет физической возможности повесить камеру. В таких условиях мы решили пойти немного дальше, и поэкспериментировать с альтернативными каналами получения видео, такими как фотоловушки и дроны. Фотоловушка – это простое в установке устройство, которое не требует скрупулезной настройки и поддержания работоспособности, она может долгое время работать в автономном режиме без какого-либо контроля, в том числе, в период экстремальных перепадов температуры.
Дроны нам очень помогли в получении видеопотока в тех местах, где невозможно установить ни камеры, ни фотоловушки. Например, в ситуациях, когда архитектурная форма здания не позволяет установить камеру на достаточном расстоянии. Но этот канал получения данных является альтернативным в силу своей высокой стоимости.
Внутренний мониторинг тоже имеет свои особенности. Сбор данных происходит с камер сотрудников, которые совершают обход. Для анализа корректности работы и подтверждения, что все этажи действительно пройдены, требуется автоматизация распознавания дома, корпуса, этажа. В идеале было бы хорошо иметь данные мониторинга квартиры «до», но это задача на будущее. Ключевая проблема заключается в том, что в ходе отделки, особенно черновой, этажи никак не обозначены, и это затрудняет разметку сплошного видеопотока. Для этих целей мы разработали схему с QR-кодами, которые размещаются на каждом этаже. Чтобы исключить случаи недобросовестного выполнения контроля, прорабатываем размещение специальных меток, которые могут быть нанесены под штукатурку для автоматического считывания.
- Что представляет собой созданное решение?
Модель внешнего мониторинга состоит из нескольких нейросетей и алгоритмов. Во-первых, стоит упомянуть алгоритм исправления искажений объектива. Была задача создать максимально универсальное решение для разных типов камер. Некоторые модели видеокамер имеют искажающий эффект объектива, называемый «рыбий глаз». Необходимо рассчитать матрицу коэффициентов, которая произведет линейное преобразования изображения так, что искажение будет нивелировано.
Вторая важная составляющая – алгоритм перспективной трансформации здания. При установке камеры, которая будет мониторить строительный объект, важным требованием является соблюдение ракурса относительно строительного объекта – он должен быть фронтальным. От того, как будет произведена установка, напрямую зависит качество обработки модели и итоговые результаты – это имело особенно сильное влияние на алгоритм подсчета этажей. К сожалению, во время установки камер стало ясно, что соблюсти данное требование не представляется возможным. В качестве решения был реализован алгоритм перспективной трансформации, суть которого заключается в том, чтобы любой ракурс приблизить к фронтальному. Стоит отметить, что данный алгоритм решает еще одну важную проблему – попадание в кадр нескольких однотипных зданий в случае, когда камеру ставят далеко от наблюдаемого строительного объекта.
Детектор основного здания – еще один важный компонент решения, так как часто на фоне нужного объекта строятся и другие здания. Если не заниматься «чисткой», то можно получить большое количество ложно-детектированных ячеек, что приведет к зашумлению и ошибкам в отчетах. Кроме того, можно упомянуть детектор и классификатор строительных ячеек, алгоритм подсчета этажей, детектор строительной сетки и классификатор нарушений установки ограждений.
- Модель внутреннего мониторинга устроена иначе?
Все квартиры проходят несколько этапов жизненного цикла после завершения строительных работ от черновой до чистовой отделки, до ремонтно-монтажных работ, например, таких, как установка сантехники или кухонного гарнитура. С целью оптимизации затрат на вычислительные ресурсы, администрирование и поддержку мы приняли решение сгруппировать классы и научить одну нейронную сеть правильно детектировать их. Простым языком, мы показываем модели изображение, а она выдает все классы, которые на нем видит. Мы выделили следующие группы классов: классификация помещений (коридор, ванная, кухня и т.д.), классификация частичной отделки (черновая и чистовая, пол, потолок, стена, коридор, общественное место, классификация предметов (батарея, унитаз и т.д.)
Мы отошли от идеи покадровой обработки, так как в рамках задачи поступает огромный поток видео. Вместо этого мы добавили процесс нарезки видео на кадры. То есть берем каждый N-ный кадр, а дальше данные группируются вместе и обрабатываются разом. Нейросеть выдает «сырые» данные, в которых указаны классы, которые она увидела на изображениях. На выходе мы получаем таблицу, в которой для каждого класса помещений, указывается количество раз, сколько в этом помещении модель увидела классы из групп частичной отделки и предметов. Например, в комнате мы можем 10 раз увидеть, что стены отштукатурены, и пять раз – что установлены розетки. Далее на основании этих данных строится процентное соотношение готовности отделки помещения и рассчитывается процент выполнения плановых показателей.
- Какими силами реализовывалась система, сколько времени потребовалось?
Наша задача – развивать внутренние компетенции и масштабировать их на рынок. Продукт реализован силами внутренней команды с привлечением внешних сотрудников. Вся команда состоит из шести человек, включающей двух дата-сайентистов и двух бэкенд-разработчиков.
Если говорить про сроки реализации, то продукт находится в постоянной модификации, постоянном улучшении. Мы приступили к созданию решения в мае 2022 года, и к концу года уже увидели практические результаты от его применения. Мы постоянно работаем над повышением точности моделей, над разработкой новых алгоритмов для мониторинга эффективности, над оптимизацией и улучшением клиентского пути.
- Каких результатов достигли?
Что касается контроля сроков строительно-монтажных работ и соблюдения правил и техники безопасности, то на сегодняшний день наше решение установлено на 25 строящихся объектах, и уже показало эффективность в сокращении сроков строительства на 5%, сокращение количества инцидентов до нуля и сокращения количества штрафов за отсутствие оградительных сооружений в три раза.
Если говорить про направление по мониторингу внутренней отделки, то текущая точность алгоритма в данном направлении составляет не менее 85% по любому из указанных классов. В настоящий момент алгоритм проходит финальную стадию стабилизации, и уже в ближайшее время будет также работать на ускорение сроков завершения работ по внутренней отделке.
В следующем году мы планируем провести масштабирование продукта абсолютно на все проекты нашей компании не только в Москве и Московской области, но и в других городах присутствия. Также мы постоянно работаем над повышением точности алгоритмов и расширением функциональных возможностей, чтобы обеспечить наших клиентов качественным жильем в максимально короткие сроки, и при этом гарантировать нашим сотрудникам должный уровень безопасности.
- За счет чего произошло повышение производительности труда строительного цикла и целевое снижение сроков рабочего проектирования и строительства?
Основным фактором повышения производительности труда послужила возможность проактивного реагирования на отклонения от плановых значений в реализации. Что из себя представляет процесс строительства? Это огромные площадки, множество зданий, которые все нужно обойти, по которым нужно физически зафиксировать прогресс строительства, а затем предоставить полученные результаты топ-менеджменту, по пути пройдя ряд согласований линейного руководства. Иными словами, традиционный процесс мониторинга прогресса в строительной индустрии весьма трудозатратный, небыстрый и с возможностями человеческих ошибок. Наше решение минимизировало вероятность ошибок, и в разы сократило сроки предоставления понятной прозрачной картины хода строительства.
На сегодняшний день все руководство компании, начиная от линейных руководителей на проектах, и заканчивая топ-менеджментом, ежедневно получает информацию о том, на каком проекте идет отставание, и на каком происходят нарушения техники безопасности. Это дает, во-первых, возможность быстро выявить причины таких отставаний и принять меры по их исправлению, а во-вторых, является дополнительным мотивационным аспектом, который побуждает команды не выходить за рамки запланированных сроков реализации.
- Каков экономический эффект?
В «Самолете» цифровизация позволила увеличить производительность труда на 60% за полтора года. Этот показатель был достигнут, в том числе, благодаря и проекту по мониторингу процесса строительства с использованием искусственного интеллекта. Сложно выделить влияние какого-то одного элемента, потому что это комплексное решение, в которое входят все цифровые инструменты управления стройкой, эффективные проектные решения, минимизация изменений, эффективная организация работ и обучения.
Решение было полностью внедрено в августе 2022 года, и мы рассчитываем выйти на 1,5-процентное снижение себестоимости строительства. Сюда входит эффект от ускорения работ, сокращения штрафов за срыв сроков и оплаты инцидентов.
- Каковы планы развития платформы?
Основными задачами на ближайшее время мы ставим повышение точности текущих алгоритмов и разработку новых моделей, способных повысить эффективность и качество строительства. Например, речь идет о мониторинге качества материалов во внешней отделке фасадов и их соответствия архитектурному плану. Также работаем над улучшением опыта внутренних пользователей продукта.
Долгосрочная цель, к которой мы идем, – оцифровать абсолютно все процессы на стройке, поделиться продуктами наших наработок с клиентами, а также масштабировать решения на внешний рынок. Мы хотим быть полезными и эффективными не только нашим сотрудникам и клиентам, но и делиться всеми наработками с рынком, тем самым развивая его и мотивируя на новые достижения.
.jpg)