Статьи

«Суперприложение» для сотрудников организации — это мобильное приложение, в котором доступны все инструменты и ресурсы, необходимые работнику на ежедневной основе. Суперприложения можно сравнить с традиционными корпоративными приложениями наподобие CRM- и ERP-систем, в которых со временем появляется все больше функций, однако в них сложно ориентироваться и они могут иметь проблемы с производительностью. В отличие от последних, суперприложение может быть более удобным. Его компоненты — миниприложения — отвечают определенным стандартам и имеют похожий пользовательский интерфейс, что облегчает их освоение. Ненужные миниприложения пользователь может отключить.

Концепция суперприложений зародилась в начале 2010-х годов в Китае — они, как правило, объединяют функции платежной системы, интернет-магазина, мессенджера, социальной сети и иногда государственных услуг. Характерные примеры — WeChat и Alipay. Первыми суперприложения создали местные гиганты электронной коммерции. Со временем специалисты Baidu, Alibaba и Huawei даже составили спецификацию пакета миниприложений, которую консорциум W3C опубликовал в качестве рабочего черновика будущего стандарта. Она определяет требования к суперприложениям и формат, в котором предоставляются его компоненты и вспомогательные ресурсы. Потребительские суперприложения распространились в основном в странах Азии, Южной Америки и Африки.

На предприятиях суперприложения могли бы объединять бизнес-процессы и внутренние сервисы, которыми пользуются сотрудники и клиенты. При этом в каждом отделе можно было бы выбирать свой набор нужных компонентов. В числе преимуществ — единый пользовательский интерфейс, предотвращение разрастания парка корпоративных приложений, укрепление безопасности за счет единой модели защиты.

По сведениям Gartner, интерес к концепции суперприложений проявляют операторы гипермаркетов и других рознично-торговых организаций с большим количеством сотрудников, которые выполняют свои обязанности с помощью мобильных устройств.

Суперприложение для сотрудников внедрили в одной из крупных компаний, предоставляющей медицинские услуги по схеме подряда. Мобильное приложение, созданное сторонним разработчиком, объединяет все инструменты и ресурсы, которыми на повседневной основе пользуются медики, работающие по вызову в партнерских организациях, — ленты сообщений, чаты, средства доступа к файлам, внутренние приложения. Благодаря этому удалось избежать необходимости установки множества изолированных приложений, безопасность каждого из которых пришлось бы контролировать отдельно. Система передает напоминания о вызовах и сроках исполнения, а пользователи могут одним касанием отвечать на них, задавать вопросы, просматривать рабочие графики, зарплатные ведомости и др.

Создание суперприложений сопряжено с определенными сложностями, поскольку все участники экосистемы разработки должны придерживаться строгих стандартов и одних и тех же фреймворков. Самостоятельная разработка может обходиться недешево, особенно учитывая, что суперприложение требует непрерывного развития и сопровождения. А поскольку подобная платформа, когда ей пользуется большинство сотрудников, становится единой точкой отказа, с самого начала ее создания необходимо уделять повышенное внимание обеспечению устойчивости и механизмам восстановления работоспособности. Разработка силами внешнего поставщика, в свою очередь, опасна привязкой к нему.

Таким образом, у корпоративных суперприложений есть свои достоинства и недостатки. Они вряд ли вытеснят традиционные, особенно учитывая, что некоторые приложения специального назначения не удастся перевести на общую платформу. Если на предприятии пользуются множеством приложений, разработчики могут с помощью общих библиотек снабдить их единообразным интерфейсом вместо того, чтобы превращать в миниприложения. Можно создать традиционный внутренний веб-портал с доступом к необходимым приложениям — это будет более привычным, чем суперприложение.

В Х5 Tech разработали и интегрировали систему по модельному риску, позволяющую эффективно отслеживать и управлять многочисленными ML-моделями, детектировать и реагировать на возможные риски, связанные с моделями. Это позволяет минимизировать потенциальные убытки и улучшать качество принимаемых на основе моделей решений. Модельный риск был встроен в процессы компании, и уже предотвращены реальные случаи, когда модель приносила значительные финансовые убытки. О реализации этого проекта рассказывает Святослав Орешин, руководитель команды модельного риска Х5 Tech и номинант на премию Data Award 2024.

- В чем суть проблемы? Почему управление рисками моделей машинного обучения стало важным для X5?

Чтобы лучше понять проблему, давайте начнем с аналогии. Допустим, вы запускаете стартап и работаете в небольшой компании друзей-коллег. Вы общаетесь каждый день и в курсе всех событий, которые у вас происходят в команде. Но с ростом команды вы нанимаете больше персонала, делаете больше проектов, и у вас возникает естественная потребность в HR-специалистах, менеджерах и системе управления персонала в целом.

Отсюда и возникает проблематика модельного риска – если у вас не так много моделей машинного обучения и на них не завязаны критичные для бизнеса решения, то за модельным риском можно следить и вручную. Однако в случае больших компаний обрабатываются терабайты данных ежедневно, а количество ML-моделей может исчисляться сотнями, и они участвуют практически во всех процессах. Если не поддерживать актуальность моделей и качество входных данных, не следить за динамикой их работы, то вы столкнетесь с финансовыми убытками и нецелевым расходованием бюджета. Контроль за модельным риском направлен на минимизацию возможных убытков и предотвращение нецелевого расходования бюджета.

- Каковы типичные риски, связанные с ML-моделями?

Основной риск – это то, что модель может работать неточно или непредсказуемо. Это может быть следствием некорректности входных данных, необходимости переобучить модель, изменением бизнес-логики или просто влиянием внешних факторов. Далее каждая из «крупных» категорий рисков раскладываются на более частные, которые отражают специфику той или иной модели. Есть ML-модели, которые делают предсказания каждую минуту, а есть те, которые делают предсказания раз в месяц. Соответственно, для каждой из них свойственны разные риски с разной критичностью, исходя из специфики данных, архитектуры и других вводных.

- Приведите примеры случаев, когда «отбившиеся от рук» модели приносили реальные убытки. О каких масштабах потерь идет речь?

Конкретные случаи я привести не могу из-за NDA, однако можем провести теоретическую оценку. Представим, что у нас есть модель Х, стоимость разработки и поддержки которой составляет примерно 10 млн руб. в год. Для простоты расчетов предположим, что все модели приносят компании одинаковое количество выручки и риски распределены нормально. Применим правило «одной сигмы» для распределения рисков и получим, что при оптимистичном сценарии мы несем в среднем около 20% убытков, а при пессимистичном – более 50% убытков. Получается, что если в компании есть 50 моделей со средней стоимостью 10 млн руб. в год на каждую, то компания терпит от 100 до 250 млн руб. убытков каждый год из-за реализации модельных рисков.

Мы рассматривали сценарий, при котором модельные риски приводят только к нецелевому расходованию бюджета, но в реальности компания терпит дополнительные убытки, так как часто предсказания моделей переиспользуются в разных процессах, и убытки могут суммироваться и приводить к дополнительной нагрузке на персонал.

- Что включает управление моделями и их рисками?

Если максимально упростить решение, то в модельном риске мы решаем три основные задачи. Во-первых, это централизация – появляется централизованный верхнеуровневый мониторинг над моделями: все модели регистрируются в единой системе. Во-вторых, актуализация – информирование продуктовых и проектных менеджеров, дата-сайентистов и ML-разработчиков, а также прочих заинтересованных лиц о состоянии и изменениях в работе моделей. Наконец, мониторинг – единое место, где все участники процессов, связанных с моделью, смогут отслеживать все доступные модели и их метрики.

- Что представляет собой созданное в X5 решение?

Решение состоит из разных компонент. Во-первых, это веб-сервис и интерфейс, в котором владельцы модели могут ее зарегистрировать и внести основную информацию о ней. Во-вторых, это ядро системы – ключевая логика для сбора и анализа различных данных, связанных с работой модели, оценкой входных данных, по итогу работы которой рассчитываются и оцениваются риски. И, наконец, это система мониторинга и уведомлений, которая позволяет получать актуальную информацию о работе и состоянии каждой модели и своевременно оповещать всех, кого следует, о возникающих рисках и предлагать возможные действия для их ликвидации.

- Как, по каким признакам, определяется, что модель работает не так, как должна?

Для начала надо четко понимать, на каких данных работает модель, какую задачу решает, как проводится ее валидация, какие у нее целевые значения прокси-метрик и на какие бизнес-метрики влияет работа модели. Далее, совместно с владельцем модели под нее настраиваются риски и оценивается их критичность. Например, для одной модели критично, если она не производила предсказания в течении одного часа, а для другой – в течении одной недели. Наш сервис получает логи работы моделей и протоколирует их, оценивает входные данные и рассчитывает релевантные для модели риски. Затем по совокупности всех выявленных рисков модели присваивается статус. Все это происходит в реальном времени с минимальными задержками.

- Как решение встроено в процессы, кто и на какой основе занимается управлением ML-рисками?

При интеграции подобной системы крайне важно не нагружать команды дата-сайентистов дополнительной работой. Поэтому в ходе разработки мы активно общались с владельцами и разработчиками моделей, а также бизнес-стейкхолдерами, и таким образом приоритезировали функционал, который действительно нужен командам. Оптимизируя нагрузку на команды, мы добились того, что процесс регистрации и подключения модели занимает в среднем не более, чем 15 минут.

Таким образом, мы не просто встраиваемся в процессы, но и решаем задачи команд, снимая с них дополнительную нагрузку, связанную с мониторингом моделей. Помимо этого, мы интегрировались в процесс передачи моделей на поддержку, и все ML-модели, которые передаются и находятся на поддержке подключены к нашему сервису.

Продуктом пользуются как разработчики и владельцы моделей, так и руководители подразделений, заказчики со стороны бизнеса, финансовый отдел и другие команды.

- Как измеряются результаты в случае управления модельными рисками?

Оценить вклад модельного риска в финансовые показатели – достаточно сложная задача. Модельный риск – это превентивное решение, поэтому основные показатели на текущий момент заключаются в уровне покрытия системой мониторинга всех моделей компании, а также количество срабатываний на одну модель. Очень важно оценивать и качественные показатели – получать обратную связь от пользователей системы, а также проводить «работу над ошибками» – анализировать случаи, когда модель работала неточно, и понимать, как сервис может предотвращать такие случаи в будущем.

- Что удалось лучше всего, чем больше всего довольны?

Основной наш результат – это то, что нам удалось найти соответствие созданного решения потребностям внутри компании. Продукт достаточно молодой, мы начали им заниматься только в мае 2023 года, и тогда переживали, что наше решение может стать еще одним «регулятором», создать дополнительную нагрузку на команды ML-разработчиков. Однако за этот год мы смогли найти путь, в котором мы не только разработали и внедрили систему мониторинга рисков, но и решили множество смежных задач.

- Что с финансовыми эффектами?

Модельный риск направлен на предотвращение убытков для уже имеющихся моделей, поэтому даже спустя какое-то время работы системы будет крайне сложно оценить финансовый вклад именно модельного риска.

Мы сейчас развиваем большое инфраструктурное направление по MLOps, и модельный риск – часть этого направления. Ведь модельный риск не только предотвращает убытки от работы самих моделей, но также оптимизирует работу ML-команд за счет предотвращения дублирования работы при решении схожих задач, выполняет задачи мониторинга и интегрируется с внутренней инфраструктурой. Поэтому более корректно будет оценивать общий эффект от совокупности всех решений MLOps.

- В каком направлении будет развиваться проект, на какие результаты рассчитываете?

Проект будет развиваться как «вширь» – будем расширять список возможных рисков и подключать новые модели, так и «вглубь» – сможем учитывать более специфичные риски и предлагать «точечное» реагирование на них. Кроме того, планируем подключать не только отдельные модели, но и полноценные процессы разработки, состоящие из разных шагов по обработке данных и работы разных моделей.

Также мы решаем задачу составления единого реестра всех моделей компании. Таким образом, разработчики смогут делиться опытом не только внутри своей команды, но и с другими командами.

Оператор сотовой связи в Казахстане Tele2/Altel запустил проект оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений (MCDA). Это должно позволить компании снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и в целом усилить устойчивость сетей связи. Проект направлен на обеспечение баланса между потребностями текущих абонентов 4G и ожиданиями новых пользователей 5G, а также на поддержку устойчивого развития в соответствии с Целями устойчивого развития ООН. О его реализации рассказывает Станислав Стрельцов, CDO Tele2/Altel и номинант на премию Data Award 2024.

- В чем заключалась бизнес-проблема, которую решали?

Наша основная задача заключалась в оптимизации размещения базовых станций 5G, учитывая потребности текущих абонентов 4G и ожидания новых пользователей 5G. Баланс между потребностями существующих абонентов и развитием сети 5G критически важен: мы работаем в условиях ограниченного CAPEX/OPEX. Компании необходимо эффективно управлять ресурсами и размещением базовых станций для обеспечения плавного перехода от 4G к 5G и обеспечения высокого качества обслуживания для всех пользователей.

- Какие требования предъявлялись к создаваемому решению?

Решение должно было снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и обеспечить устойчивость сетей связи.

- Какие данные и платформы используются?

Для анализа и принятия решений мы собираем статистику трафика 4G станций, данные о подключениях абонентов, метрики подключений устройств 5G, время активности пользователей, а также трафик, генерируемый устройствами 5G. Эти данные собраны с использованием существующих телекоммуникационных инфраструктур и инструментов мониторинга сети. Кроме того, обращаемся к внешним источникам, таким как карты и информация о застройке.

Используемые платформы для работы с данными включают реляционные и не реляционные СУБД (Oracle, ClickHouse, PostgreSQL), а также специализированные системы анализа данных и машинного обучения собственной внутренней разработки, использующие решения open source. Для визуализации результатов и поддержки бизнеса используется платформа Tableau.

- Что представляет собой созданное решение, какие технологии использованы?

Решение представляет собой систему оптимизации размещения базовых станций 5G с использованием машинного обучения, инструментов Big Data и многокритериального анализа.

- Какими силами реализовывалась система?

Над проектом работала команда аналитиков данных, дата-сайентистов и инженеров данных, ее размер составлял примерно 14 человек. На реализацию потребовалось 12 месяцев.

- Что в ходе проекта было самым сложным?

Сложность заключалась в балансировке требований текущих абонентов – было важно держать качество связи на определенном уровне, – и ожиданий новых пользователей. Кроме того, речь шла обработке и анализе больших объемов данных: прогнозы на уровне базовой станции охватывают данные более 20 тыс. временных рядов.

- Каких результатов уже достигли, а какие ожидаются в будущем?

На несколько процентов увеличился ROI. По мере продвижения проекта ожидается, что данные результаты будут пересматриваться и адаптироваться в соответствии с динамикой рынка и потребностями пользователей.

Кроме того, ожидаемые результаты включают снижение на 20% капитальных затрат (CAPEX) за счет оптимизированного размещения и снижение жалоб клиентов относительно проблем с сетью на 25%. Снижение потребляемой энергии должно дать рост энергоэффективности на 15%.

Эти показатели будут служить критическими факторами успеха и повлияют не только на экономическую выгоду для компании, но и на общую устойчивость, способствуя достижению Целей устойчивого развития ООН (Sustainable Development Goals, SDG).

- Какой результат стал главным, что именно дало наибольшую отдачу?

На данный момент оптимальное распределение CAPEX оказалось ключевым результатом, обеспечивающим наилучшую отдачу.

- Цели устойчивого развития – насколько это важно, и в чем их влияние?

Оптимизация потребления энергии и уменьшение воздействия на окружающую среду играет для нас важную роль. В частности, речь идет про SDG 7 (Доступная и чистая энергия), SDG 11 (Устойчивые города и общины) и SDG 13 (Действия по изменению климата). Мы уделяем особое внимание энергопотреблению, необходимому для питания базовых станций, минимизируя количество строек.

- Каков экономический эффект?

Даже находясь в пилотной версии, реализация проекта снизила капитальные затраты и повысила нашу эффективность, что привело к увеличению ROI.

- Каковы планы развития проекта?

Мы планируем дальнейшее совершенствование системы, учет изменений в технологическом пространстве и потребностей пользователей. Планируем добавить функционал на базе геопространственной аналитики, а также реализовать инструмент в виде продукта для монетизации его вовне.

Генеративный ИИ привлекает внимание компаний всего мира своей скоростью и мощью, оказывая существенное влияние на бизнес-операции, модели, продукты и сервисы. Недавний опрос Accenture показал, что почти все руководители (99%) планируют увеличивать инвестиции в эту технологию. В такой ситуации ИТ-директора с учетом их видения бизнес-процессов и глубокого понимания потенциала технологий имеют все необходимое для того, чтобы помочь своим организациям подготовиться к внедрению генеративного ИИ. Главным препятствием 67% представителей высшего технического руководства считают недостаточное знание технологий своими коллегами. Определяющая роль для эффективного решения этой задачи отводится увязке генеративного ИИ с успехом предприятия.

Эффективная интеграция искусственного интеллекта в бизнес начинается с постановки четких целей и приведения стратегии ИИ в соответствие с этими бизнес-целями. Сегодня 98% руководителей уже согласны с тем, что в ближайшие три-пять лет базовые модели ИИ будут играть важную роль в реализации стратегии их организации. Чтобы проверить, готово ли предприятие к внедрению генеративного ИИ, ИТ-директор должен задать себе следующие восемь вопросов:

1. Какую базовую модель следует выбрать? Другими словами, какая архитектура наилучшим образом обеспечивает релевантность, надежность и удобство использования выходных данных модели? Количество поставщиков и моделей генеративного ИИ непрерывно растет. При выборе конкретного варианта необходимо убедиться в его соответствии потребностям и запросам организации.

2. Как сделать эти модели доступными? Существует два основных подхода, которые бизнес может использовать для внедрения моделей. Все зависит от того, нужен ли вам полный контроль в собственном облаке, или же доступ к генеративному ИИ будет осуществляться через внешнего поставщика, обеспечивающего требуемую скорость и простоту.

3. Как модели будут адаптироваться к вашим собственным данным? Для получения от генеративного ИИ максимальной отдачи предприятие должно использовать свои собственные данные. Следует рассмотреть различные способы адаптации предварительно подготовленных моделей к собственным данным предприятия и попытаться создать готовые инструменты, подходящие для организации и ее сотрудников.

4. Какова общая готовность предприятия? Прежде всего оцените свои платформы, обеспечивающие интеграцию и интероперабельность, а также уровень безопасности базовых моделей и потенциальные риски. Обязательным условием для создания надежной системы ИИ является соблюдение законов, нормативных требований и этических стандартов. Все это необходимо продумать еще на стадии проектирования.

5. Как обстоят дела с углеродным следом? Несмотря на прохождение предварительной подготовки, базовые модели в процессе адаптации и тонкой настройки все еще могут потреблять значительное количество энергии. Последствия будут зависеть от подхода, применяемого при покупке, сборке и расширении базовых моделей.

6. Как перевести разработку приложений генеративного ИИ на промышленную основу? Следующим шагом после выбора и развертывания базовой модели является поиск новых фреймворков, которые могут потребоваться для ускорения разработки приложений. Оптимизируя процесс, вы адаптируете его к конкретным бизнес-функциям и предметным областям.

7. Что нужно для масштабного использования генеративного ИИ? Поиск способов масштабной монетизации ценностей, создаваемых искусственным интеллектом, должен волновать каждого ИТ-директора. Искусственный интеллект создает благоприятную почву для стимулирования инноваций. А ИТ-директора в соответствии со своей ролью обладают хорошими связями в рамках всей структуры предприятия. Поиск новых возможностей и свежих взглядов способствует внедрению инноваций как внутри организации, так и в масштабах всей отрасли и появлению новых возможностей для роста.

8. С чего начать и как действовать дальше? ИТ-директор способен внести важный вклад в разработку программного обеспечения. Погрузитесь в процесс и постарайтесь продемонстрировать ощутимые результаты пилотных проектов. В компании Accenture, к примеру, генеративный ИИ помогает команде разработчиков быстрее запускать продукты. Благодаря использованию инструмента Amazon CodeWhisperer удалось добиться значительного увеличения производительности труда разработчиков и качества кода, что помогло внедрить новую платформу AWS Velocity в рекордно короткие сроки. Обобщая собственный опыт, становится ясно, как продвигаться вперед и расширять сферу применения продуктов.

Исследования показывают, что с помощью генеративного ИИ в сфере ИТ можно оптимизировать до 73% общего рабочего времени. Это подчеркивает важность закладывания основ для безопасного, ответственного и экономичного масштабирования генеративного ИИ, обеспечивающего бизнесу получение реальных ценностей.

Современные инструменты Business Intelligence способны как анализировать структурированные данные, так и решать более сложные задачи, связанные со слабоструктурированными источниками и комплексной визуализацией данных. И если несколько лет назад программные инструменты данного класса применялись только для моделирования данных, то сегодня практически все BI-платформы имеют встроенные средства очистки, консолидации и нормализации структурированных данных. Причем они способны работать с очень большими объемами записей.

Одна из ключевых целей BI – поддержка принятия решений при реализации тех или иных бизнес-процессов. Более десяти лет назад для этого применялись модульные программные приложения, решающие частные задачи. Дефицит консолидированных данных затруднял получение объективной оценки необходимых для анализа факторов. Однако эволюция технологий управления большими данными и возросшая производительность ИТ-инфраструктуры компаний позволили им использовать более прозрачный и универсальный подход к BI, перейти от пакетной обработки данных к потоковой. Это, в свою очередь, определило потребность в инструментах многомерной визуализации данных. При этом прогрессивные статистические методы для корреляционного анализа, прогнозирования, нелинейного анализа – приобретают всё большую значимость. Специалист, принимающий решения с помощью BI, опирается на динамические показатели фактических данных и расчетных показателей в агрегированном виде.

Сценарии применения BI

BI-системы сегодня имеют обширное распространение как в виде полноценных независимых программных решений, так и в виде аналитических модулей различных приложений. По сути, анализировать данные можно везде, где они есть. При этом чем больше компания собирает потоковой информации, тем выше потребность в ее качественном анализе. И, поскольку современные корпоративные системы способны обеспечить упорядоченное хранение информации, обработка агрегированных данных доступна организациям самых разных сфер деятельности.

Так, промышленное оборудование оснащено датчиками, позволяющими получать данные о работе линии, каждого производственного элемента. Как правило, такая информация хранится локально или во внешних базах данных. Благодаря ее анализу руководители могут выстраивать более эффективные процессы: например, оптимизировать расход сырья или предупреждать поломки. В сфере услуг оцифровываются взаимоотношения компаний с потребителем. Кассы, CRM, логистические системы – благодаря всему этому появляются большие группы данных, которые можно рассматривать в различных разрезах.

Современный уровень развития ПО и производительности ИТ-систем позволяет визуализировать данные не только в виде классических диаграмм, но и в виде геокарт, тепловых карт и в других разновидностях. А применение нейронных алгоритмов дает возможность прогнозирования на основе анализа массивов информации. Например, в медицине, анализируя диагностические данные, можно выявлять в них некие закономерности или аномалии – и на этой основе корректировать методики лечения пациентов. Для сельскохозяйственных предприятий можно выстроить систему оперативного мониторинга, управляя разными локациями, учитывая погодные изменения и т. д.

Имея возможность оперативно менять срезы данных, можно максимально быстро принимать решения. Поэтому BI-системы активно применяются в ситуационных центрах. Качество таких решений напрямую зависит от качества созданной для них модели данных.

Развитие BI в России

История BI-систем в России тесно связана с развитием ИТ-рынка в целом. До ухода иностранных компаний местным разработчикам было довольно сложно конкурировать с хорошо зарекомендовавшими себя программными решениями мирового уровня. В случае BI это, прежде всего, Tableau, Power BI и Qlik. Российские вендоры находили точки роста в более узких нишах, в разработке и внедрении специализированных BI-систем. Те из них, кто выдержал конкуренцию, сегодня могут предоставить заказчикам решения с востребованными функциями.

ИТ-командам нужны инвестиции в технологическое развитие и кадровый потенциал. Сейчас ситуация на локальном рынке резко изменилась, для отечественных разработчиков конкурентное поле со стороны зарубежных вендоров опустело. Но никуда не ушли законы рынка: усилилась борьба теперь уже между российскими компаниями. Появились лидеры в отраслевых сегментах, часть игроков сошла с дистанции. Направление BI не стало исключением. Здесь на настоящий момент уже сформировался пул надежных разработчиков с хорошим потенциалом развития программных продуктов. Независимые аналитические агентства, а также некоторые интеграторы публикуют рейтинги и дают развернутые характеристики наиболее зарекомендовавших себя систем.

Критерии выбора BI-платформы

Современные BI-системы различаются по функциональности, масштабируемости, возможности применения no-code/low-code и другим более специфическим критериям. В то же время они могут быть применены во многих отраслях для решения конкретных задач.

Например, если в компании внедрены такие системы, как CRM, ERP, MRP, и не хватает встроенных отчетов, – можно использовать BI для раздельного или консолидированного анализа, создания единой модели данных. Если в компании много лет используется Excel в качестве универсального инструмента для создания и хранения данных, а базы становятся все больше – однозначно следует рассмотреть внедрение BI. При этом сначала можно заняться построением моделей данных из слабоструктурированных источников, а затем уже непосредственно проектированием аналитических отчетов с наглядными графиками и таблицами агрегируемых данных.

Для выбора BI-системы можно рекомендовать оценить следующие функции и критерии продукта:

• импорт данных с сервера БД (SQL и др.),
• импорт данных из файлов (csv, txt, xls),
• объединение источников данных,
• создание модели данных,
• фильтрация данных,
• наличие стандартных визуализаций,
• внедрение дополнительных визуализаций (JavaScript, Python),
• создание интерактивных отчетов,
• создание вычисляемых полей,
• функции агрегации,
• различный экспорт данных,
• управление правами доступа,
• адаптация под другие технические устройства,
• автоматическое обновление отчетов по расписанию,
• обучающая документация и наличие сообществ,
• публикация отчетов в веб-представлении,
• стоимость решения.

По нашей практике, заказчики чаще отдают предпочтение проверенным и известным продуктам. Однако именно в направлении BI процесс внедрения продукта всегда носит проектный характер и нередко требуется кастомизация. С этой точки зрения малоизвестные решения могут оказаться гораздо гибче в кастомизации, что может положительно сказываться на сроках реализации проекта. В то же время у «коробочных» решений есть свои неоспоримые преимущества: возможность удобного обновления по мере выхода новых релизов, наличие всей необходимой документации и более широкое экспертное сообщество.

Внедрение BI: на что обратить внимание

Алгоритм внедрения BI-систем верхнеуровнево не отличается от внедрения других ИТ-платформ. Как правило, проект разбивается на этапы:

• аудит и анализ требований на стороне заказчика,
• составление плана миграции (если у заказчика уже есть другая BI-система),
• разработка моделей данных,
• добавление средств визуализации (дашбордов, таблиц),
• тестирование и обучение,
• запуск в эксплуатацию,
• контроль и расширение аналитических срезов.

Специфика BI-систем подразумевает участие в проекте вендора и системного интегратора. Вендор занимается поддержкой и доработкой платформы. Интегратор обладает многогранными экспертными знаниями, которые необходимы для реализации проекта – ведь заказчику часто приходится решать задачи не только установки BI-платформы, но и ее интеграции с ИТ-окружением.

Самыми затратными по ресурсам и времени (до 80% затрат, по нашим подсчетам) являются этапы аудита и разработки модели данных. Они требуют тщательного изучения исходных источников данных компании и возможностей разработки средств визуализации. Именно поэтому длительность реализации проекта BI иногда бывает сложно определить: указанные этапы могут растянуться во времени из-за обеспечения доступности, бесструктурного хранения, множества видов источников информации, отсутствия формализованного описания имеющихся данных и т.д.

Проектный подход подразумевает создание совместной группы, состоящей из представителей заказчика и исполнителя. Крайне важно, чтобы на стороне заказчика хотя бы один сотрудник был привлечен к поддержке системы: знал корректные источники для модели и регламенты сбора исходных данных, мог управлять политиками доступа.

Автор – Николай Рыков, продукт-менеджер по программным решениям компании Konica Minolta

По различным оценкам, объем рынка BI в России за 2021 год составил от 30 до 45 млрд руб., показав рост выше среднемирового – 15-17%. В 2022 году, когда российская ИТ-отрасль в целом претерпела существенные изменения и окончательно развернулась в сторону технологической независимости, – эта динамика сохранилась, однако лавинообразного роста рынка и массового перехода заказчиков на отечественные BI-системы не произошло. Почему компании предпочитают выжидательную стратегию, какие перспективы есть у российского софта для бизнес-аналитики и по каким критериям его стоит выбирать?

До 2022 года российский рынок бизнес-аналитики развивался на основе общемировых трендов: ведущую роль играли три отраслевых лидера – Power BI, Tableau и Qlik. Если быть более точным, то Qlik в большей степени, а Tableau по некоторым причинам – в меньшей. Что же касается популярности Power BI, она очевидно обусловлена преимуществами интеграции с экосистемой Microsoft. Отечественные решения чаще всего имели нишевое применение: например, в организациях госсектора, которым законодательно запрещено использовать иностранный софт.

Прошлый год положил начало коренной трансформации рынка. Заказчикам стали требоваться отечественные продукты BI, которые смогли бы заменить функциональность западных систем. Для российских разработчиков, по сути, открылось огромное поле возможностей. Но и ответственности у них стало гораздо больше. В итоге – сегодня насчитывается около двенадцати российских BI-платформ: на слуху такие бренды, как Visiology, Luxms BI, Modus BI, Дельта BI и некоторые другие. Из них более-менее зрелыми можно считать, пожалуй, четыре-пять.

В стране, особенно среди компаний крупного бизнеса, продолжается тренд на большие данные, подход data-driven, прочие технологии и концепции, связанные с аналитикой данных. Несмотря на это, можно прогнозировать, что российский рынок бизнес-аналитики будет расти не взрывными темпами, а, скорее, умеренно и органически. Вероятно, в 2023 году произойдет его рост на уровне 10-15%. Многие заказчики постараются максимально отложить момент перехода на отечественные продукты. Процесс импортозамещения, безусловно, начнется, но на его реализацию потребуется достаточно много времени.

Нюансы отечественных BI-решений

Перечислим основные сложности перехода на российские продукты BI, из-за которых процесс миграции пока не принял массовый характер.

В первую очередь, это инерция, тенденция к сохранению определенного «статус-кво», которая свойственна компаниям по отношению к ИТ-ландшафту в принципе. Это логично, ведь если мы работаем с данными и используем для их обработки определенный софт, выстраиваем вокруг него бизнес-процессы, то просто взять и «по щелчку» заменить его на другой – рискованно и нелогично. Более очевидным выходом для компаний может казаться поиск обходных путей для продления действующих лицензий и сохранения работоспособности существующего ПО. А если и мигрировать, то на максимально похожее решение.

Второе – это уровень готовности отечественных решений к внедрению. Российские вендоры старательно повторяют функциональность западного софта: в том числе, разрабатывают различные коннекторы, выстраивают промежуточное хранение данных in-memory. Но это огромный пласт работы, на которую у иностранных вендоров ушли годы. Время – самое главное, чего не хватает отечественным решениям. А также клиентского опыта и обратной связи для того, чтобы понимать, что действительно нужно пользователям.

Третья сложность связана с тем, что внедрение BI в любой компании – процесс дорогой, непростой и чаще всего длительный. Получив первые два-три отчета, оценив их пользу и закрыв потребность в базовых вещах, компания «входит во вкус» и начинает заниматься более точечными, углубленными, кросс-аналитическими задачами. В какой-то момент она погружается в BI настолько сильно, что ей приходится создавать для этого отдельное подразделение. А если у компании уже используются сотни отчетов, все формируются из разных источников и на разных данных, то можно себе представить, сколько ресурсов будет затрачено для их перевода на новую платформу.

Четвертый фактор связан с кадровым вопросом. Всё чаще использование BI требует привлечения не только аналитиков, но и дата-инженеров, разработчиков ETL (Extraction, Transformation, Loading) и экспертов, которые видят весь процесс «сверху», а не изнутри. Ситуация осложняется тем, что на рынке труда много специалистов, умеющих работать только с определенным популярным продуктом – например, Power BI.

Вендорам: внимание на точки роста

Продукты BI используют в основном крупные компании, в меньшей степени – средние. Главные отрасли-потребители хорошо известны: электронная торговля, ретейл, финансовые организации – все те, кто связан с нематериальным производством, сбором и обработкой большого объема пользовательских данных. Они традиционно гораздо сильнее «заточены» под применение технологических решений, и бизнес-аналитика давно стала частью их бизнес-процессов.

Гораздо менее распространены технологии BI на производстве и в обрабатывающей промышленности. Кажется, что здесь это не слишком востребованная задача, но с этим можно поспорить. BI решает многие вопросы оптимизации производства, поиска уязвимых мест в бизнес-процессах, позволяет рассчитывать различные метрики, важные для маркетинга и продаж.

Оба направления могут стать точками роста для российских вендоров BI. В первом случае им стоит дорабатывать свои решения «вертикально» – расширяя функциональность, возможности масштабирования и интеграций. Во втором случае ожидается появление «горизонтальных» кастомизированных решений для отдельных отраслей промышленности и даже отдельных якорных заказчиков.

Также стоит обратить внимание на общую тенденцию к увеличению востребованности решений Low-Code и No-Code – когда для использования бизнес-аналитики не нужно учиться на разработчика и осваивать фреймворки, а можно просто путем нескольких кликов представить необходимую визуализацию.

Заказчикам: критерии выбора отечественной BI платформы

Первое правило при выборе BI-платформы – понимать, для чего она нужна и есть ли у компании ресурсы на ее настройку и поддержку. Например, уже существуют российские продукты, которые не требуют от пользователя познаний в программировании и реляционных базах данных. Для их применения условному менеджеру нужно просто понимать, какие данные нужны для аналитики, и какой тип визуализации ему нужен в том или ином случае. В самых простых сценариях, таким образом, критерием станет удобство.

Если же в компании от грамотной аналитики зависит важный бизнес-процесс, для обеспечения которого требуется скорость, выверенность, валидация, обновление данных в реальном времени, – придется задействовать технических специалистов, глубже знакомиться с продуктом, тестировать при нагрузках, смотреть, как платформа справляется с разного рода данными.

Из технических критериев важно наличие дистрибутива. Если программу на компьютер может установить обычный пользователь, а не команда разработчиков продукта, это показатель того, что продукт более зрелый.

Преимуществом продукта станет большое количество коннекторов к разнообразным источникам: базам данных, статическим файлам, веб-источникам, а также наличие возможности парсинга документации веб-сервера, страниц. Чем больше источников данных можно подключить к BI-платформе, тем лучше.

Во многих сценариях важно наличие опции in-memory, когда BI-платформа обладает собственной системой хранения данных «под капотом». Это ускоряет прогрузку больших данных и сложные расчеты, когда программе приходится каждый раз обращаться к источнику за новыми данными.

Наличие инструментов визуализации – самый очевидный критерий для BI-платформы. На самом деле, для подавляющего количества сценариев достаточно четырех видов визуализации: график, «пирог», столбчатая диаграмма и гистограмма. Остальное – более экзотические варианты для продвинутых пользователей. Сегодня более важным становится требование к отсутствию технических сложностей в построении дашборда – то есть, тот самый No-Code.

Из других критериев стоит выделить стоимость приобретения продукта и владения им, а также уровень сервисного обслуживания и простоту поддержки решения – вплоть до того, чтобы иметь возможность гибкой настройки интервала обновления системы.

Перспективы импортозамещения в BI

Российские производители BI-платформ в состоянии предоставить заказчикам качественные продукты, не уступающие западным аналогам. Вопрос только в том, насколько быстро они смогут это сделать.

Заказчикам же необходимо сосредоточиться на определении актуальной BI-структуры компании, расширении внутренней экспертизы в области накопленных данных, выверке данных: где что хранится, каким образом эта информация должна использоваться, какие преимущества компания получит в результате аналитики. Такая работа может занять несколько месяцев, но зато по ее завершении у компании появляется больший выбор инструментов BI. По сути, в таком случае уже неважно, какая платформа используется: мы подводим к ней данные в готовом, правильном виде и можем точно прогнозировать результат.

Автор — Павел Осипов, руководитель практики BI компании iFellow

Платформа корпоративных коммуникаций и кадровые инструменты – это обычно несколько разных приложения на смартфоне. Сегодня набирает силу тренд на их слияние. Корпоративные мессенджеры трансформируются в супераппы – единую платформу коммуникации, обучения, заказа справок, оформления отпусков, больничных и пр. Это удобно, экономит время и не перегружает смартфон лишними приложениями. Ниже расскажем, какие кадровые функции доступны пользователям корпоративных супераппов.

Техподдержка

Сотрудники используют десятки корпоративных инструментов. В сервисах случаются сбои и ошибки, поэтому важно быстро получить помощь специалиста, чтобы работа не встала.

В супераппе можно завести обращение на любом устройстве и в любом месте, даже вдали от офиса. Когда саппорт разберется с проблемой, приложение пришлет уведомление и пошаговую инструкцию, что нужно сделать. Если проблема решена, здесь же можно закрыть обращение.

Бронирование переговорных

Офисная переговорка обычно расписана на несколько дней вперед. Бронь переговорных – например, в Outlook – требует слишком много движений, иногда настолько, что для этого приходится нанимать специального сотрудника.

В супераппе все наглядно – похоже на бронирование билетов в театр или кино. Пользователь на смартфоне выбирает переговорную и, если она свободна, закрепляет за собой на определенную дату и время. Бронь отображается в приложении – коллегам в выбранное время переговорка недоступна, и слоты не накладываются друг на друга.

Корпоративный поиск

Стандартный корпоративный поиск – приложение, в котором можно найти контакты партнеров, детали соглашений, файлы в хранилище и другую важную информацию из корпоративных систем. Обычно такие программы существуют в десктопной версии и доступны только на рабочих станциях.

Удобно, если все необходимое можно найти на смартфоне в приложении – тот же корпоративный поиск, но в мобильном варианте. Корпоративная информация всегда под рукой – и в «полях», и в командировках, и на удаленке. Однако важно, чтобы суперапп был защищенным, иначе службы безопасности не оценят мобильный поиск.

Опросы и обратная связь

Собирать обратную связь от сотрудников в мессенджерах неудобно. Приходится создавать опросы, например, в Google Forms и отправлять ссылки в общий чат. Уведомления на больших чатах, как правило, выключены у большинства сотрудников, а сообщение со ссылкой быстро уезжает наверх.

Приложение для опросов в супераппе эти вопросы закрывает. Оповещения в нем не перемешиваются с уведомлениями чатов и звонков, а пройти опрос можно в интерфейсе супераппа без перехода по ссылкам. Здесь же доступен раздел с идеями – там сотрудники предлагают идеи по улучшению бизнес-процессов. Руководители анализируют предложения, выбирают лучшие и реализуют их на практике.

Заказ справок

Справки нужны всем сотрудникам, но бежать к бухгалтеру и HR или оставлять заявки в чат-ботах нет желания. В супераппе решить задачу можно быстрее – сотрудник заходит в личный кабинет и заказывает справку в несколько кликов. По готовности приложение присылает push с информацией, где справку можно скачать или забрать, если она нужна в бумажном виде.

Оформление командировок и отпусков

Согласование и оформление отпуска занимает кучу времени и отвлекает от работы.

В корпоративном приложении процесс занимает минуту. Сотрудник оставляет заявку с датами отпуска и подписывает заявление. Руководитель получает пуш-уведомление от супераппа, проверяет дату, согласует отпуск. HR регистрирует заявление, а бухгалтер получает задачу на выплату отпускных. С командировками аналогично.

Сервисы ДМС

Большинство компаний предлагают медицинскую страховку после испытательного срока – этим никого не удивишь. Однако работа с отдельным приложением – не всегда интуитивно понятный сценарий.

Разумный вариант – перенести услуги по ДМС во встроенное приложение в корпоративном супераппе, чтобы все функции были под рукой. К тому же ДМС в супераппе – это минус еще одно приложение, которое необходимо загружать на смартфон и обновлять.

Онбординг

Онбординг для нового сотрудника можно сравнить с техническим обслуживанием болида «Формулы 1» перед заездом. Чтобы долгое время успешно работать, человеку необходимо адаптироваться в коллективе и на входе получить необходимые знания.

Когда онбординг приходит в корпоративном приложении, новичку легче освоить процессы компании и влиться в единое информационное пространство. Суперапп позволяет делать это в комфортной среде – за чашкой кофе, на прогулке, во время поездки.

Новости компании

О том, что происходит в компании, сотрудники обычно узнают на официальном сайте или в соцсетях. На практике новости доходят не до всего персонала.

Пресс-центр в корпоративном приложении поможет сотрудникам быть в курсе последних новостей. Там же можно узнать о конкурсах, достижениях, посмотреть фото и видео мероприятий, почитать анонсы и пр. Сотрудники каждый день используют корпоративное приложение, и почитать там новости без дополнительных усилий – это удобно.

Обучающие вебинары

Каждая компания время от времени проводит их, когда, например, внедряет новый информационный сервис или выводит на рынок новый продукт.

Суперапп оповестит о вебинаре тех сотрудников, кто должен на нем присутствовать, и откроет доступ к трансляции.

Инструменты мотивации

Суперапп умеет повышать мотивацию сотрудника – с наградами и элементами геймификации.

Сотрудник раньше срока закрывает задачу, завершает масштабный проект или показывает результаты выше KPI – зарабатывает внутреннюю валюту компании. На нее в корпоративном приложении можно купить мерч, взять внеплановый выходной или отдохнуть с семьей в оплаченном загородном доме.

Корпоративные курсы

Обучение сотрудников – важный элемент мотивации и повышения лояльности к компании.

В корпоративном приложении сотрудник видит, какие предстоят корпоративные курсы, кто их будет вести, когда открывается запись, и начинаются занятия. Курсы можно также проводить в рабочем приложении – подключаться к урокам и загружать файлы с обучающими материалами.

Календарь компании

В корпоративном календаре видно, какие мероприятия и события впереди, как на них записаться. Когда этот календарь перенесен в суперапп, сотруднику удобно объединять его со своим личным календарем в смартфоне. Не надо открывать несколько приложений, чтобы спланировать график.

Описанные процессы – основа работы большинства сотрудников. Учитывая тренд на мобильное рабочее место, логично перенести в смартфон не только инструменты для работы, но и кадровые сервисы. Наш прогноз – в течение двух-трех лет супераппы вберут все функции для комфортной работы сотрудников и сделают качественный скачок в сторону полноценной мобильной работы.

Автор — Сергей Артемов, директор по развитию платформы корпоративных коммуникаций и мобильности eXpress

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

Девелоперская компания «Самолет» повысила производительность труда на своих стройках за счет интеллектуальной системы мониторинга, позволяющей оперативно реагировать на любые отклонения от планов. Решение уже показало эффективность в сокращении сроков строительства на 5%, а снижение себестоимости строительства может достигнуть 1,5%. О реализации проекта рассказывает Екатерина Линкевич, директор по данным компании «Самолет» и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Производительность труда в строительной отрасли в мире не растет с начала 1990-х годов. Расходы, связанные со строительством, составляют 13% от мирового ВВП, что в денежном эквиваленте оценивается в 1,6 трлн долл. В России этот показатель на уровне 6% от ВВП или 5,5 трлн руб. Ежегодный прирост производительности сектора составлял в среднем 1% за последние 20 лет.

Группа «Самолет» — одна из крупнейших девелоперских компаний в России, с портфелем текущего строительства 3,3 млн кв. м и земельным банком в 34,2 млн кв. м реализуемой площади. Перед нами стояла непростая задача: по производительности труда приблизиться к показателям Китая и США, которые в полтора раза выше российского. Ключевым моментом в повышении эффективности стройки является выполнение плановых показателей и соблюдение техники безопасности, контроль за выполнением строительно-монтажных работ и подготовка квартир к сдаче.

В первую очередь нас интересовала автоматизация контроля и своевременного реагирования на отклонения от плановых показателей во время всего хода строительства жилых домов. На группу «Самолет» работает большое количество подрядных организаций, поэтому довольно сложно самостоятельно контролировать фактически выполненные объемы стройки, и приходится доверять статистке подрядчиков. Не меньшую роль играет контроль отделочных работ – чистовой и черновой отделки, наличия санфаянса и мебели, наличия мусора внутри квартиры после завершения работ. Необходимо создание системы, которая повысит качество контроля и исключит возможность пропуска специалистами тех или иных помещений. Наконец, нужна автоматизация мониторинга наличия ограждений на открытых участках на протяжении всего хода строительства. Строительная площадка – территория повышенной опасности, несоблюдение правил техники безопасности может стоить жизни. И здесь наша задача – создать решение, которое может автоматически выявлять факты нарушения и с помощью системы штрафов исключить прецеденты.

- Как пришла идея мониторинга с помощью видеоаналитики?

Мы стремимся к тому, чтобы стать data-driven компанией, где 100% бизнес-процессов автоматизированы, а решения принимаются на основании данных. С учетом большого количества процессов, мы приоритезировали наши активности по доле трудозатрат в соотношении к потенциальному эффекту для компании и их реализуемости. Себестоимость стройки занимает 60-75% всех затрат компании, поэтому данное направление стало одним из приоритетных. Далее, в рамках анализа инициатив и потенциальных эффектов, мы поняли, что замена ручного труда при управлении стройкой может привести не только к росту производительности, но и к повышению безопасности, существенно повлиять на снижение себестоимости. Так мы выбрали список инициатив, которые приводят компанию к заявленным бенчмаркам эффективности и начали их параллельную разработку и внедрение.

- Какие требования предъявлялись к решению?

Все требования можно разделить на несколько верхнеуровневых блоков. Основными из них были сокращение времени фиксации прогресса и нарушений для каждого корпуса на 95%, сокращение количества нарушений и штрафов до 65%, сокращение инцидентов на стройке до 50%, сокращение времени строительства до 20%.

Нам нужно было создать решение, позволяющее передавать данные в текущие мастер-системы, которые уже используются командой ведения эффективного процесса строительства, и реализовать ролевую модель своевременного оперативного информирования и реагирования задействованных сотрудников на стройке (включая топ-менеджмент компании) через оперативные каналы коммуникаций.

Для внешнего мониторинга стройки требовалось обеспечить ежедневный мониторинг прогресса строительства за счет получения видеопотока с камер, его обработки, и автоматического сравнения с плановыми показателями по монолиту, кладке и окнам, наличию защитных сеток. Для мониторинга внутренних отделочных работ был нужен еженедельный мониторинг прогресса черновых и чистовых работ за счет получения данных с переносных камер сотрудников. Подразумевается фиксация этажа, корпуса, здания в специальном приложении и обработка видеопотока с последующим автоматическим сравнением с плановыми показателями по отделке – пол, потолок, двери, сантехника, радиаторы, электрика и т.п. При этом время обработки видео с одного этажа не должно превышать 30 секунд.

- Какие технологии использованы при разработке?

Все решение можно разделить на несколько компонентов. Внешняя оболочка – это панель администратора с настроенными отчетами, оповещениями и метриками, построенная на Python, Flask и шаблонизаторе Jinja. Этот сервис включает в себя мониторинг хода строительства с настроенными отчетами, алертами и метриками, а также инструментарий для возможности расширения количества объектов для внедрения системы мониторинга. Мониторинг поддерживает прием данных с фото-ловушек, дронов, камер видеонаблюдения. Выполняемые алгоритмы решения реализованы на Pytorch, MMDetection, Numpy, Pandas, OpenCV и Timm. Мобильное приложение для сбора данных о внутренней отделке – Javascript и Capacitor. Бэкенд продукта построен на Airflow, SQLAlchemy, FFmpeg, Minio, PySpark, Flask и Telegram. Он представлен в виде конвейера, который по расписанию собирает изображения с источников, отдает их на обработку модели машинного обучения, сохраняет и перемещает все изображения и метаданные на всех этапах, формирует и отправляет отчеты.

- Что потребовалось сделать, чтобы обеспечить систему данными?

Нашей главной задачей было получение корректного видеопотока для дальнейшей обработки.

Если говорить о внешнем мониторинге, то одной из самых сложных проблем было обеспечение бесперебойного канала получения видеопотока со строительных площадок. Как вы понимаете, стройка – это постоянно развивающаяся и меняющаяся среда, в процесс работы на площадке вовлечено очень большое количество сотрудников разных профилей. На каждом проекте работает своя команда, у них свои правила и особенности. И вот в таких условиях, наверное, самым тяжелым было выстроить организованную работу всех команд на всех площадках. В перечень таких работ входило составление плана по монтажу устройств, замер необходимого расстояния, обеспечение точек энергопитанием, непосредственно сам монтаж устройств, корректировка ракурсов, заведение данных в систему обработки и много всего прочего.

Для некоторых объектов установка дополнительных камер и создание соответствующей инфраструктуры было дорогим мероприятием, а иногда и вовсе невозможным – например, когда нет физической возможности повесить камеру. В таких условиях мы решили пойти немного дальше, и поэкспериментировать с альтернативными каналами получения видео, такими как фотоловушки и дроны. Фотоловушка – это простое в установке устройство, которое не требует скрупулезной настройки и поддержания работоспособности, она может долгое время работать в автономном режиме без какого-либо контроля, в том числе, в период экстремальных перепадов температуры.

Дроны нам очень помогли в получении видеопотока в тех местах, где невозможно установить ни камеры, ни фотоловушки. Например, в ситуациях, когда архитектурная форма здания не позволяет установить камеру на достаточном расстоянии. Но этот канал получения данных является альтернативным в силу своей высокой стоимости.

Внутренний мониторинг тоже имеет свои особенности. Сбор данных происходит с камер сотрудников, которые совершают обход. Для анализа корректности работы и подтверждения, что все этажи действительно пройдены, требуется автоматизация распознавания дома, корпуса, этажа. В идеале было бы хорошо иметь данные мониторинга квартиры «до», но это задача на будущее. Ключевая проблема заключается в том, что в ходе отделки, особенно черновой, этажи никак не обозначены, и это затрудняет разметку сплошного видеопотока. Для этих целей мы разработали схему с QR-кодами, которые размещаются на каждом этаже. Чтобы исключить случаи недобросовестного выполнения контроля, прорабатываем размещение специальных меток, которые могут быть нанесены под штукатурку для автоматического считывания.

- Что представляет собой созданное решение?

Модель внешнего мониторинга состоит из нескольких нейросетей и алгоритмов. Во-первых, стоит упомянуть алгоритм исправления искажений объектива. Была задача создать максимально универсальное решение для разных типов камер. Некоторые модели видеокамер имеют искажающий эффект объектива, называемый «рыбий глаз». Необходимо рассчитать матрицу коэффициентов, которая произведет линейное преобразования изображения так, что искажение будет нивелировано.

Вторая важная составляющая – алгоритм перспективной трансформации здания. При установке камеры, которая будет мониторить строительный объект, важным требованием является соблюдение ракурса относительно строительного объекта – он должен быть фронтальным. От того, как будет произведена установка, напрямую зависит качество обработки модели и итоговые результаты – это имело особенно сильное влияние на алгоритм подсчета этажей. К сожалению, во время установки камер стало ясно, что соблюсти данное требование не представляется возможным. В качестве решения был реализован алгоритм перспективной трансформации, суть которого заключается в том, чтобы любой ракурс приблизить к фронтальному. Стоит отметить, что данный алгоритм решает еще одну важную проблему – попадание в кадр нескольких однотипных зданий в случае, когда камеру ставят далеко от наблюдаемого строительного объекта.

Детектор основного здания – еще один важный компонент решения, так как часто на фоне нужного объекта строятся и другие здания. Если не заниматься «чисткой», то можно получить большое количество ложно-детектированных ячеек, что приведет к зашумлению и ошибкам в отчетах. Кроме того, можно упомянуть детектор и классификатор строительных ячеек, алгоритм подсчета этажей, детектор строительной сетки и классификатор нарушений установки ограждений.

- Модель внутреннего мониторинга устроена иначе?

Все квартиры проходят несколько этапов жизненного цикла после завершения строительных работ от черновой до чистовой отделки, до ремонтно-монтажных работ, например, таких, как установка сантехники или кухонного гарнитура. С целью оптимизации затрат на вычислительные ресурсы, администрирование и поддержку мы приняли решение сгруппировать классы и научить одну нейронную сеть правильно детектировать их. Простым языком, мы показываем модели изображение, а она выдает все классы, которые на нем видит. Мы выделили следующие группы классов: классификация помещений (коридор, ванная, кухня и т.д.), классификация частичной отделки (черновая и чистовая, пол, потолок, стена, коридор, общественное место, классификация предметов (батарея, унитаз и т.д.)

Мы отошли от идеи покадровой обработки, так как в рамках задачи поступает огромный поток видео. Вместо этого мы добавили процесс нарезки видео на кадры. То есть берем каждый N-ный кадр, а дальше данные группируются вместе и обрабатываются разом. Нейросеть выдает «сырые» данные, в которых указаны классы, которые она увидела на изображениях. На выходе мы получаем таблицу, в которой для каждого класса помещений, указывается количество раз, сколько в этом помещении модель увидела классы из групп частичной отделки и предметов. Например, в комнате мы можем 10 раз увидеть, что стены отштукатурены, и пять раз – что установлены розетки. Далее на основании этих данных строится процентное соотношение готовности отделки помещения и рассчитывается процент выполнения плановых показателей.

- Какими силами реализовывалась система, сколько времени потребовалось?

Наша задача – развивать внутренние компетенции и масштабировать их на рынок. Продукт реализован силами внутренней команды с привлечением внешних сотрудников. Вся команда состоит из шести человек, включающей двух дата-сайентистов и двух бэкенд-разработчиков.

Если говорить про сроки реализации, то продукт находится в постоянной модификации, постоянном улучшении. Мы приступили к созданию решения в мае 2022 года, и к концу года уже увидели практические результаты от его применения. Мы постоянно работаем над повышением точности моделей, над разработкой новых алгоритмов для мониторинга эффективности, над оптимизацией и улучшением клиентского пути.

- Каких результатов достигли?

Что касается контроля сроков строительно-монтажных работ и соблюдения правил и техники безопасности, то на сегодняшний день наше решение установлено на 25 строящихся объектах, и уже показало эффективность в сокращении сроков строительства на 5%, сокращение количества инцидентов до нуля и сокращения количества штрафов за отсутствие оградительных сооружений в три раза.

Если говорить про направление по мониторингу внутренней отделки, то текущая точность алгоритма в данном направлении составляет не менее 85% по любому из указанных классов. В настоящий момент алгоритм проходит финальную стадию стабилизации, и уже в ближайшее время будет также работать на ускорение сроков завершения работ по внутренней отделке.

В следующем году мы планируем провести масштабирование продукта абсолютно на все проекты нашей компании не только в Москве и Московской области, но и в других городах присутствия. Также мы постоянно работаем над повышением точности алгоритмов и расширением функциональных возможностей, чтобы обеспечить наших клиентов качественным жильем в максимально короткие сроки, и при этом гарантировать нашим сотрудникам должный уровень безопасности.

- За счет чего произошло повышение производительности труда строительного цикла и целевое снижение сроков рабочего проектирования и строительства?

Основным фактором повышения производительности труда послужила возможность проактивного реагирования на отклонения от плановых значений в реализации. Что из себя представляет процесс строительства? Это огромные площадки, множество зданий, которые все нужно обойти, по которым нужно физически зафиксировать прогресс строительства, а затем предоставить полученные результаты топ-менеджменту, по пути пройдя ряд согласований линейного руководства. Иными словами, традиционный процесс мониторинга прогресса в строительной индустрии весьма трудозатратный, небыстрый и с возможностями человеческих ошибок. Наше решение минимизировало вероятность ошибок, и в разы сократило сроки предоставления понятной прозрачной картины хода строительства.

На сегодняшний день все руководство компании, начиная от линейных руководителей на проектах, и заканчивая топ-менеджментом, ежедневно получает информацию о том, на каком проекте идет отставание, и на каком происходят нарушения техники безопасности. Это дает, во-первых, возможность быстро выявить причины таких отставаний и принять меры по их исправлению, а во-вторых, является дополнительным мотивационным аспектом, который побуждает команды не выходить за рамки запланированных сроков реализации.

- Каков экономический эффект?

В «Самолете» цифровизация позволила увеличить производительность труда на 60% за полтора года. Этот показатель был достигнут, в том числе, благодаря и проекту по мониторингу процесса строительства с использованием искусственного интеллекта. Сложно выделить влияние какого-то одного элемента, потому что это комплексное решение, в которое входят все цифровые инструменты управления стройкой, эффективные проектные решения, минимизация изменений, эффективная организация работ и обучения.

Решение было полностью внедрено в августе 2022 года, и мы рассчитываем выйти на 1,5-процентное снижение себестоимости строительства. Сюда входит эффект от ускорения работ, сокращения штрафов за срыв сроков и оплаты инцидентов.

- Каковы планы развития платформы?

Основными задачами на ближайшее время мы ставим повышение точности текущих алгоритмов и разработку новых моделей, способных повысить эффективность и качество строительства. Например, речь идет о мониторинге качества материалов во внешней отделке фасадов и их соответствия архитектурному плану. Также работаем над улучшением опыта внутренних пользователей продукта.

Долгосрочная цель, к которой мы идем, – оцифровать абсолютно все процессы на стройке, поделиться продуктами наших наработок с клиентами, а также масштабировать решения на внешний рынок. Мы хотим быть полезными и эффективными не только нашим сотрудникам и клиентам, но и делиться всеми наработками с рынком, тем самым развивая его и мотивируя на новые достижения.

Компания «Интеко», один из ведущих девелоперов страны, запустила систему динамического ценообразования от компании «Иннодата», позволившую оптимизировать процесс реализации квартир. В результате средняя выручка по проектам увеличилась на 5-7% без учета рыночных факторов. О построении решения и его роли для бизнеса рассказывает Полина Балашова, директор по аналитике и ценообразованию компании «Интеко» и номинант на премию Data Award.

— Каковы были «головные боли» бизнеса? Какие проблемы пытались решить с помощью системы динамического ценообразования?

Со временем в компании увеличивалось количество проектов, и оперативная работа по корректировке цен, оценке новых объемов, построению отчетов и анализу спроса начала занимать очень много времени. Мы понимали, что на формирование стоимости влияет огромное количество факторов, в том числе не всегда очевидных. Учет всех этих факторов для максимизации цены реализации квартиры без снижения темпов продаж невозможен при ручном ценообразовании. Так появилась идея использовать технологии машинного обучения.

— Почему это было важно для вас?

Максимизация прибыли, цифровизация процессов и прозрачность принятия решения дает бизнесу понимание, что мы движемся в сторону развития и совершенствования.

— Какие варианты решения проблемы рассматривали? Какие требования предъявлялись?

Изначально была идея сделать динамическое ценообразование на базе CRM-системы, но сложность разработки, трудозатраты и отсутствие необходимых знаний у внутренних специалистов заставили отказаться от такого решения. Важным требованием была точность прогнозирования, выполнение системой заданных целей.

— Что в итоге было выбрано и почему?

Мы выбрали систему динамического ценообразования от компании «Иннодата», так как они представили наиболее гибкое и подходящее решение для бизнеса.

— Что в итоге представляет собой созданное решение?

Это несколько моделей машинного обучения, предсказывающих вероятность продажи квартиры на разный горизонт времени, то есть ее ликвидность, а также сложная алгоритмическая цепочка бизнес-правил компании для формирования итоговой стоимости каждой конкретной квартиры с обоснованием ее изменения. Модель облечена в дружественную для бизнес-пользователя оболочку, которая понятна аналитикам на интуитивном уровне.

— Что в ходе проекта оказалось самым сложным?

Наиболее сложным процессом оказалось сведение множества данных из различных систем в единую структуру. Для каждого из источников были разработаны отдельные процедуры обработки данных. В дальнейшем данные обогащают общую витрину, которая является основой для визуализации всех отчетов и дашбордов системы. При этом хотелось бы заметить, что наша система – это не просто калькулятор, который дает фиксированный процент изменения стоимости на каждое бизнес-правило, а интеллектуальный механизм автоматического расчета оптимального изменения в каждый момент времени. То есть для одного и того же правила в зависимости от рыночных изменений может рассчитываться разный оптимальный коэффициент изменения стоимости.

— Как изменились подходы и бизнес-процессы, связанные с ценообразованием, в результате реализации проекта?

Компании удалось полностью отказаться от ручного труда в рамках ценообразования, создана панель дашбордов для руководства компании, обновляемая в режиме реального времени. В разы сокращены затраты на анализ данных и увеличена скорость принятия решений.

— Каких результатов удалось достичь? Какие из них самые важные?

Точность прогнозирования цен составляет 85-90%, в среднем выручка по проектам увеличилась на 5-7% без учета роста цен на строительную готовность и рыночных факторов.

— Какова роль этого проекта для бизнеса компании?

Проект дал компании понимание, что ручной фактор ограничивает возможности формирования оптимальных цен на недвижимость, а динамическое ценообразование снимает эти риски.

— Есть ли у этого проекта какие-то перспективы развития?

Система постоянно совершенствуется и дорабатывается, обрастает новыми опциями. Чем больше данных поступает, тем она активнее адаптируется к новым непростым условиям рынка. Планируется дальнейшее расширение функционала с точки зрения автоматизации новых бизнес-процессов, связанных с ценообразованием. Например, оценка земельного участка с использованием генетического алгоритма или расширение функциональности по требованиям, возникшим в ходе эксплуатации системы. Предполагается также дополнительная визуализация рыночных данных, подключение новых источников к модели машинного обучения и многое другое.