Статьи

Согласно отчету Uptime Institute, в последние годы перебои в работе цифровой инфраструктуры обходятся все дороже и дороже. При этом общее количество крупных отключений осталось прежним, а следовательно, суммы, затрачиваемые в среднем на восстановление работоспособности после сбоя, растут.

Доля отдельных отключений, приводящих к убыткам на сумму свыше 100 тыс. долл., в 2021 году увеличилась до 47% по сравнению с 40%, о которых шла речь годом ранее. Хотя среднюю стоимость одного отключения в Uptime Institute не рассчитывают, общие тенденции указывают на то, что затраты на преодоление последствий такого отключения продолжают расти.

Каждое пятое предприятие сообщило по крайней мере об одном «серьезном» сбое за последние три года. Речь идет об отключениях, которые привели к существенным финансовым потерям, телесным повреждениям, репутационному ущербу или нарушениям требований законодательства. 80% участников опроса сообщили о возникновении у них сбоев в последние три года (без конкретизации уровня их серьезности), что находится на верхней границе нормы.

В отчете отмечается, что наибольшая доля отключений в целом была вызвана проблемами, которые связаны с сетью и могут быть результатом крупномасштабного перехода на облачные технологии, технологии программно-конфигурируемых сетей (software defined networking, SDN) и другие новые сетевые архитектуры.

Но наиболее ощутимые неприятности, как правило, связаны со сбоями в электроснабжении. На них приходится 43% «серьезных» отключений за последние три года.

Согласно отчету, наибольшее количество перебоев в обслуживании в рассматриваемый период наблюдалось у независимых поставщиков услуг. На долю облачных провайдеров, поставщиков услуг хостинга, связи и телекоммуникационных компаний приходится почти две трети всех отключений общедоступных сервисов, которые Uptime Institute отслеживал на протяжении последних семи лет. К 2021 году эти показатели увеличились на 70%.

Многие сбои, независимо от того, на какую часть инфраструктуры они повлияли, стали результатом человеческой ошибки. В последние три года почти 40% предприятий столкнулись с серьезными перебоями в работе, вызванными человеческим фактором. В большинстве случаев они были связаны с неоптимальностью процессов и процедур или их несоблюдением.

По словам основателя и исполнительного директора Uptime Institute Энди Лоуренса, виновата в высоком уровне сбоев (как прямо, так и косвенно) все более сложная архитектура современных ИТ.

«Отсутствие заметных улучшений в общем уровне сбоев в определенной степени является результатом огромных недавних инвестиций в цифровую инфраструктуру и всех сложностей, с которыми сталкиваются операторы при переходе на гибридные распределенные архитектуры, – подчеркнул Лоуренс. – Со временем как технологии, так и операционные процессы будут улучшаться, но пока перебои в работе остаются главной проблемой для клиентов, инвесторов и регуляторов».

Отчет Uptime Institute опирается на несколько видов источников — от публичных отчетов о крупных сбоях и результатов специальных опросов до баз данных об аномальных инцидентах, которые ведет компания.

Вступив в цифровые 20-е годы XXI века, предприятия все чаще рассматривают возможность внедрения нового поколения совместно используемых и компонуемых облачных технологий ERP (enterprise resource planning). Это подкрепляется нескончаемой пандемией, ненадежными цепочками поставок, кочующей рабочей силой и другими факторами.

Опрос 1675 руководителей ИТ-служб, организованный Boomi, показал, что подавляющее большинство организаций (94%) используют стратегию ERP нового поколения, которая предусматривает преодоление ограничений унаследованных приложений и модернизацию бизнеса за счет перехода на облачные платформы и профессиональную аналитику, включающую элементы искусственного интеллекта.

По прогнозам Gartner, к 2023 году 65% организаций уже внедрят у себя ERP-приложения, имеющие один или несколько из так называемых «отличительных признаков четвертой эры» информационных систем. К ним относятся искусственный интеллект, архитектура, ориентированная на данные, системы, которые можно использовать в готовом виде, функции, дополняющие решения, средства поддержки разработчиков и технологии, ориентированные на клиента.

«Проблемы последних двух лет склоняют чашу весов в сторону более быстрого внедрения ERP-систем следующего поколения, – отмечается в отчете Boston Consulting Group. – Использовать традиционную систему ERP для управления ожидаемым ростом электронной коммерции и удовлетворения потребностей в гибкости и быстроте будет практически невозможно. Наметилась тенденция к поддержке финансовых, снабженческих и кадровых функций передовыми средствами автоматизации, в которых ставка делается на сокращение числа сотрудников с одновременным повышением уровня их квалификации и на использование работников, решающих возложенные на них задачи из дома».

Перечислим три области, в которых традиционные ERP-системы сегодня терпят неудачу, а также потребности, испытываемые современными предприятиями.

Гибридная рабочая сила

Если какие-то сомнения в отношении перехода на облачную ERP-систему ранее и возникали, то с началом кризиса COVID они были отброшены, и корпоративные рабочие места распределились по бесчисленным домашним офисам. Локальная ERP оказалась не такой масштабируемой, как все думали. И сегодня наблюдается переход к облачным системам, с помощью которых сотрудники решают кадровые, финансовые и бухгалтерские задачи в удаленном режиме.

Недавний опрос Pew Research Center показал, что каждые шесть из десяти работников в США, утверждающих, что их задачи в основном можно решать из дома, трудятся на дому постоянно или большую часть своего времени. По сравнению с 23% «удаленщиков», которые мы наблюдали до пандемии, перемены видны невооруженным глазом.

Согласно опросу Upwork, доля тех, кто занимается фрилансом на постоянной основе, находится на рекордно высоком уровне и составляет 36% от общей численности работников. Большинство из них (53%) предоставляют квалифицированные услуги разработки ПО, маркетинга, ИТ- и бизнес-консалтинга. Годом ранее их доля составляла 50%. Кадровый компонент ERP-систем должен учитывать быстроту найма, непредсказуемость рабочего графика и текучесть кадров. Все больше организаций ищут персонал за рубежом, что наряду с другими факторами заставляет гибко реагировать на новые правила обязательной отчетности, налогообложения и льгот.

Аналитика

Недавние события выявили относительно слабые возможности традиционных систем ERP в части составления отчетов. Предприятия хотят постоянно иметь данные под рукой и принимать решения очень быстро; готовые отчеты ERP-систем многим не подходят. И теперь они прорабатывают функции отчетов, информационных панелей и ключевых показателей эффективности (KPI) в самом начале, на этапе проектирования и выстраивания системы, вместо того чтобы наращивать соответствующие возможности с течением времени.

По словам аналитиков Boston Consulting Group, ERP-платформы следующего поколения обеспечивают компаниям прозрачность в реальном времени в части продаж, запасов, производства и финансовых показателей. Мощная аналитика, основанная на данных, позволяет принимать более гибкие решения, корректируя параметры цепочек поставок для повышения устойчивости. Надежные средства электронной коммерции помогают компаниям лучше взаимодействовать с онлайн-клиентами как при подготовке продаж, так и после их совершения. А минималистичное ядро ERP и облачный подход помогают ускорить развертывание.

Цепочки поставок

Беспрецедентные и непрекращающиеся сбои в цепочках поставок создают потребность в усилении наглядности, повышении предсказуемости сроков выполнения заказов, поиске альтернативных источников поставок и ускорении реагирования на сбои.

Опрос, проведенный FiveTran и Dimensional Data, показал, что 86% руководителей хотят обращаться к данным через свои системы ERP в режиме реального времени. Но только 23% респондентов заявили, что их нынешние ERP-системы поддерживают такую возможность, а 99% не могут получить доступ к необходимой им информации.

До пандемии компании были сосредоточены на оптимизации цепочек поставок и извлечении максимума эффективности из современных решений. Такой подход базировался на предположении о том, что поставщики могут придерживаться заранее определенных контрактами графиков, тесно интегрированных с ERP-системами. Однако предположения эти оказались неверны.

Невозможность закупить новые лицензии — меньшая из бед. Отказ от текущих обязательств по сервисным контрактам бьет больнее: по внутренним оценкам КРОК, на продукты таких производителей, как Red Hat, VMware, Oracle приходится до 65% всего инфраструктурного ПО в крупных корпоративных компаниях. Например, по некоторым данным, в банковском сегменте фактически все бизнес-критичные системы работают на базе СУБД Oracle или Microsoft. Отсутствие поддержки в этом случае грозит серьезными сбоями в инфраструктуре и клиентских сервисах.

Как было до 24 февраля 2022 года

При приобретении любых лицензий вендор предоставлял услуги технической поддержки. Это было почти обязательным требованием вендоров при покупке лицензий. Срок действия контракта различался, он зависел от вендора и типа ПО. Чаще всего договоры на поддержку заключались минимум на один год. В течение этого времени производитель информировал клиентов об особенностях работы продуктов, выявлял и устранял возникающие ошибки в софте, предоставлял обновления ПО или переводил пользователей на новые версии системы. Нередко в этих процессах участвовала одна или несколько сертифицированных вендором компаний — они выполняли функции первой и второй линий поддержки, отвечая за 80-90% всех поступающих заявок. Подобная схема была востребована клиентами, так как при высоком качестве услуги стоимость контракта вендоров с привлечением российского поставщика можно было сделать выгодней.

Что происходит с поддержкой инфраструктурного и системного ПО сейчас

Вендорской поддержки в том виде, к которому привыкли клиенты, в России теперь нет. Прекратили или приостановили поддержку почти все компании. Некоторые из них уже объявили об уходе с российского рынка, например, такие гиганты как IBM и не столь громкие имена как SAS. В более сложной ситуации оказались компании, которые ранее заключили прямой контракт на сервисное оборудование с производителем, без привлечения российской компании. В большинстве случаев у таких клиентов нет собственных квалифицированных специалистов, чтобы взвалить задачи поддержки на их плечи. Но и при контракте с российским поставщиком требуется перезаключать договор, так как объем обязательств увеличивается существенно, и это нужно отразить в документе. При этом отечественные игроки, имеющие длительную историю работы на рынке, вполне способны справиться со всеми основными задачами, кроме обновлений ПО.

К чему приводит отсутствие поддержки

Без специализированной помощи компании рискуют остаться один на один с проблемой недоступности ключевых сервисов. Известно минимум про один крупный инцидент, связанный с отсутствием ключей доступа к системе виртуализации VMware. В крупной компании использовались временные лицензии. Когда же пришло время их пролонгации, система неконтролируемо перезагрузилась. Сразу же после этого системные администраторы потеряли доступ к виртуальным машинам, так как не смогли связаться с вендором и получить от него актуальные ключи. Как итог — длительный простой значительной части офисных пользователей.

Не менее сложная ситуация сложилась в компаниях, которым полный сервис (аутсорсинг) оказывали зарубежные компании. С уходом партнера или вендора такие заказчики потеряли доступ к системе из-за отсутствующих паролей. В большинстве случаев им затем пришлось генерировать новые ключи и фактически взламывать свою же инфраструктуру.

План действий при работе с ПО в текущих условиях

Можно рекомендовать несколько ключевых шагов. Во-первых, приостановить обновление всех программных продуктов или как минимум проверять их перед установкой. Во-вторых, провести ревизию в инфраструктуре: найти временные лицензионные ключи и определить критичные точки, из-за которых возможны сбои в работе систем.

Наконец, важно продумать план дальнейшей поддержки функционирования. Заключить договор на поддержку с российским поставщиком, если это не было сделано ранее. Стоит обращать внимание в первую очередь на историю компании на рынке, наличие квалифицированного персонала и сертификатов, выданных вендором до 24 февраля. Кроме того, в долгосрочной перспективе следует определить продукты отечественной разработки, которыми можно заменить иностранные аналоги (Postgres Pro, CommunigatePRO, Р7, zVirt и т.п.). Возможно, многих отпугнут сроки и стоимость проекта миграции, а также сложности интеграции с другими системами. Однако это на данный момент видится самым рабочим и эффективным вариантом.

Автор — Дмитрий Емельянов, руководитель направления «Поддержка системного ПО» компании «Крок»

Несмотря на солидные объемы данных, накапливаемые в течение многих лет в разнообразных информационных системах, одним из главных препятствий для управления на основе данных в здравоохранении специалисты медицинских информационно-аналитических центров (МИАЦ) называют… нехватку данных. Конечно, речь не о данных как таковых, а именно о данных, пригодных для принятия управленческих решений.

Дефицит объясняется тем, что интересы потребителей данных и генераторов данных драматически не совпадают. Врачи обычно воспринимают наполнение данными информационных систем как неизбежное зло — нудную обязанность, навязанную начальством. Особенно если эти данные предназначены для органов управления здравоохранением. Положительной обратной связи между передачей данных в информационные системы более высокого уровня и изменением к лучшему существующей реальности не наблюдается. А значит, нет смысла стараться сделать эти данные качественными — все равно они уходят «наверх» как в «черную дыру», не давая возможности создателю данных понять их роль в процессе оказания медицинской помощи или оценить свой вклад в общий результат. С другой стороны, управленцам затруднительно принимать эффективные решения на основе данных, которые собираются исключительно ради формального выполнения требований руководства.

Пусть такая картина упрощена и утрирована, но счастливые исключения чаще всего подтверждают общее правило. Как посреди океана можно умереть от жажды, не имея пресной воды, так и руководителю зачастую невозможно найти ответы на свои вопросы в многочисленных источниках больших медицинских данных.

Проблема далеко не нова, профессионалы давно пытаются разорвать этот замкнутый круг. Но если в крупных клиниках удается снизить остроту проблемы, то про более высокие уровни управления этого не скажешь. Тем не менее, на региональном уровне здравоохранения делаются первые шаги к управлению на основе первичных данных.

Дата-хакатон

Управление на основе данных стало темой конференции «Практическая польза региональных информационных систем в сфере здравоохранения 2022», которую компания «Нетрика Медицина» и Санкт-Петербургский МИАЦ провели в рамках конгресса «ИТМ Петербург». Главная цель мероприятия – обмен опытом между регионами, поэтому основной акцент в программе был сделан на совместную практическую работу участников, дополненную выступлениями экспертов. В дата-хакатоне приняли участие более ста человек из 40 регионов России и стран СНГ: руководители МИАЦ, ИТ-специалисты в области медицины и другие ответственные за цифровизацию здравоохранения. Под руководством дата-инженеров и аналитиков из «Нетрика Медицина» команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя органа управления здравоохранением.

Под руководством дата-инженеров и аналитиков команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя.

Конференция проводится уже в пятый раз и отражает существенную трансформацию задач региональных специалистов, которые изначально фокусировались на создании медицинских информационных систем, затем — на автоматизации процессов, а сегодня перешли на совершенно другой уровень — изменения процессов. На этом этапе им особенно нужны качественные данные. «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается, — отметил Денис Чумаков, генеральный директор «Нетрика Медицина». — Однако отдельные кейсы мы как интеграторы видим уже во многих регионах».

Северная столица: на подступах к data-driven здравоохранению

Как сообщил руководитель Центра электронного здравоохранения Санкт-Петербургского МИАЦ Алексей Архипов, в конце 2021 года в северной столице завершился проект по электронному здравоохранению, в рамках которого было создано 40 сервисов для пациентов, врачей и руководителей здравоохранения. Сейчас Центр переходит к стадии активного анализа собираемых данных – сведений из электронных медкарт и обратной связи от пациентов.

Геннадий Орлов, заместитель генерального директора по цифровому развитию Северо-западного окружного научно-клинического центра им. Л. Г. Соколова ФМБА России, привел примеры из практики Координационного центра Минздрава РФ, которые свидетельствуют о переходе от отдельных выводов из полученных данных к системе управления на основе данных. Он также отметил усложнение алгоритмов обработки накопленных данных. В 2021 году на федеральном уровне стали чаще применять алгоритмы машинного анализа текстов на естественном языке, анализа медицинских изображений, а также визуализацию данных. Например, визуализация структурированности записей в электронных медкартах государственных клиник существенно ускоряет принятие решений в ситуационном центре губернатора Ленобласти. Пока не все понимают необходимость применения специальных аналитических инструментов для управления данными, но постепенно это понимание приходит, и руководители вскоре будут оперировать не отчетами, а данными, отметил Орлов. Инициаторами перевода здравоохранения на рельсы управления на основе данных, и соответствующего обучения аналитиков и управленцев, по его мнению, должны стать именно МИАЦ, это их важнейшая задача на ближайшую перспективу.

Момент истины для ВИМИС

Управленцам действительно нужны данные достаточные, чтобы понять эффективность собственных решений, особенно финансовых. Однако в настоящее время управления на основе данных еще не происходит, получается информатизация отдельно, а лечение пациентов — отдельно, считает Евгений Коган, главный специалист Санкт-Петербургского МИАЦ. «Данными никто не пользуется, потому что они низкого качества, и они низкого качества, потому что ими никто не пользуется», — констатировал он.

Будет ли в России управление на основе данных? Само по себе — не будет, если ограничиваться задачей сбора данных и гнаться за их количеством, забывая про практическое использование в интересах пациентов. Поэтому в питерском МИАЦ начали пользоваться данными, несмотря на известную неполноту и неточность, стараясь постепенно выделить и показать городу полезные аспекты уже собираемых данных.

«За последний год, к нашей огромной радости, в Санкт-Петербурге произошел сдвиг — нашлись заинтересованные главные внештатные специалисты, которые начали использовать данные в своей работе, нас это воодушевляет, — сообщил Коган. — Оказывается, есть много тем, где организатору здравоохранения даже по неполным данным ясно, что делать».

Денис Чумаков: «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается»

Например, обнаружилась высокая годичная летальность пациентов, перенесших легкий инсульт, в сравнении с их госпитальной летальностью. Из этого следует, что амбулаторная служба упускает таких пациентов. Еще выяснилось, что продвинутую квадритерапию при хронической сердечной недостаточности назначают только отдельные врачи. Остальные, возможно, о ней не знают. «Получив эти данные, главный внештатный невролог и главный внештатный терапевт пошли заниматься организацией медицинской помощи, и когда они изменят реальную ситуацию, мы с ними увидим это в цифрах», — подчеркнул Коган.

На его взгляд, для профильных вертикально-интегрированных медицинских информационных систем (ВИМИС) настал момент истины. Надо показать их практическое использование: что какому-то пациенту стало лучше, или была выявлена ранее неизвестная проблема организации здравоохранения, и приняты полезные решения. Например, обнаружена повышенная нагрузка на врачей таких-то медицинских организаций, и выделены деньги на новую поликлинику. Или обнаружено, что в таком-то районе при тотальном скрининге на рак молочной железы доля его выявления на ранних стадиях все равно остается низкой, поэтому рентгенологов отправили учиться, и выявляемость повысилась. «ВИМИСы без практического использования  – только головная боль для всей страны», — уверен Коган.

Многострадальная структуризация

За десять с лишним лет Единая государственная информационная система здравоохранения (ЕГИСЗ), а потом и ее новая ипостась — Единый цифровой контур здравоохранения (ЕЦКЗ) — обросли новыми сущностями, которые никому не упрощают жизнь, скорее наоборот. ВИМИС — отдельная сущность, живущая сама по себе, по своим правилам и со своими форматами. Практически одну и ту же первичную информацию региональные МИАЦ передают в федеральную подсистему интегрированных электронных медкарт (ИЭМК) в виде структурированных электронных медицинских документов (СЭМД), в реестр электронных медицинских документов (РЭМД), да еще и в ВИМИСы по трем нозологиям («Сердечно-сосудистые заболевания», «Онкология», «Акушерство и неонатология»), к которым скоро добавится четвертая.

Между тем, проблема структуры информации никуда не делась. В ЕГИСЗ используются одни справочники, а в системах территориальных Фондов обязательного медицинского страхования (ТФОМС) — другие. В результате подсистемы ЕГИСЗ не слишком удачно взаимодействуют друг с другом, в том числе потому, что структура данных, на которых они построены, — разная.

Чтобы данные стали более пригодными для аналитической обработки, необходимо принять общий российский стандарт структуры медицинских данных, базируясь на HL7 FHIR. Тем более, что рабочая группа, «приземляющая» HL7 FHIR на российскую почву, уже создана и функционирует.

Стандарт HL7 FHIR хорош для информатизации процессов, а федеральный уровень задает HL7 CDA — стандарт для документов, уточнил Андрей Дюков, руководитель отдела продаж и развития «Нетрика Медицина». Оба стандарта уже начинают применять в регионах при информатизации процессов. «Чтобы данные в документах были качественные, нужны потребители этих данных — и пациенты, и врачи, — отметил Дюков. — С процессами проще: в них «зашита» обратная связь и непосредственно задействован потребитель данных».

Сбор десятков миллионов медицинских документов в федеральные информационные системы — необходимое, но не достаточное условие для управления на основе данных. Минздраву РФ следует показывать, каким образом полученные данные применяются для совершенствования системы для оказания медицинской помощи. Возможно, тогда у региональных МИАЦ появится мотивация поставлять качественные данные для анализа, а не файлы в формате PDF. Сейчас, по грубой экспертной оценке, в структурированном виде в ЕГИСЗ предоставляется не более 5-10% медицинских документов.

Сухая теория vs вульгарный практицизм 

Возможно, кому-то эта статья покажется чересчур теоретичной. Замечу, что в учебных заведениях сначала изучают теорию, и лишь затем переходят к практике. Теория без практики мертва, а практика без теории глупа. Вспоминается фраза Альберта Эйнштейна: «Нет ничего более практичного, чем хорошая теория». Незнание теории приводит к тому, что каждая решаемая задача оказывается новой, хотя на деле задачи могут быть объединены общей методологией и иметь общие принципы решения.

Понимание важнее знания: можно знать, но не понимать. Тонущая металлическая гайка противоречит тому, что корабль из металла держится на плаву – оба этих факта мы можем знать, но не понимать, почему так, а значит не сможем судить о том, утонет ли металлическое изделие иной формы. Мы можем легко узнать в энциклопедии какой-то факт, но если не понимаем общего, имеем шансы допустить ошибку. Да, возможно заниматься самолечением по энциклопедии, но можно умереть от опечатки.

Что такое Decision Intelligence

Decision Intelligence (DI) — дисциплина, позволяющая превратить информацию в лучшее практическое действие. Эффективное управление организацией особенно важно в условиях агрессивной внешней среды, санкций, когда первоочередная задача – выживание, а вовсе не развитие. Да и развитие в условиях конкуренции проблематично: привычным масштабированием, когда емкость рынка падает, эффекта можно и не достичь. Открытие дополнительных офисов, найм клиентских менеджеров могут оказаться не такой эффективной опцией, как интенсивное развитие. Подходы «катать квадратное, носить круглое», уходят в прошлое – нет излишка, которым можно было бы рисковать. Decision Intelligence – это дисциплина про создание программных систем (помощников), предназначенных достигать взвешенного выбора решения (data science) среди возможных альтернатив (оптимизация); возможно, рекомендовать дальнейшие действия, распространять результаты заинтересованным лицам (BI). Цель Decision Intelligence – помощь человеку в принятии решений. Она достигается посредством осуществления процедур анализа, обработки данных и математического моделирования, а также предоставлением вспомогательной информации, агрегации, отчетов в интерактивном режиме, быстро и наглядно.

Этапы создания систем Decision Intelligence

Можно выделить три основных этапа создания систем DI. Первый этап – формализованное описание алгоритма принятия решений Y = F(X). Второй этап – формирование альтернатив решений Y_i=F(X_i), из которых осуществляется выбор. Третий этап – описание критериев выбора среди альтернатив Y → max/min.

В основе DI лежат математические методы, разрабатываемые в рамках ряда дисциплин: теории оптимизации, data science, статистики, эконометрики, а также управления данными (data governance), баз данных и Business Intelligence. Но и технологий недостаточно! На каждом этапе должна присутствовать человеческая экспертиза.

В качестве примера рассмотрим коллекторский бизнес. Приведем основные этапы.

1. Сбор данных из систем источников, формирование витрины данных – в этом помогает дисциплина Data Governance.
2. Поиск математической зависимости Y = F(X,a), где  Y – объем взыскания, X – характеристики клиента, его активность, история транзакций,  a  – история воздействия на должника (смс, звонок, выезд). В этом помогает машинное обучение, статистика, эконометрика.
3. Решение задачи оптимизации: какое воздействие оказать, чтобы максимизировать выгоду: объем взыскания за вычетом затрат на взыскание. В этом нам помогает математическая оптимизация
4. Постановка модели в продуктивную систему.
5. Доведение рекомендаций до коллекторов с помощью Business Intelligence.

«Ингредиенты» успешного внедрения

Как обычно, ключевых факторов успеха несколько. Во-первых, это данные: методология управления данными и технология их хранения.  Во-вторых, математический аппарат: математическая методология и вычислительные мощности. В-третьих, организационная структура: наличие компетенций и ролей. Наконец, управление изменениями: готовность к сопротивлению инновациям, создание новых регламентов. 

Остановимся подробнее на первых двух факторах. Данные лежат в основе математических моделей. Должны быть технологии сбора и хранения данных, а также методология управления данными: правила наименования, глоссарий, поток данных, нормативно справочная документация. Математический аппарат позволяет найти информацию в данных, этому способствует теория вероятностей, статистика, эконометрика, машинное обучение, оптимизация. Математика помогает решить слишком сложные, многомерные, многокритериальные задачи. 

Человек или технология? 

Decision Intelligence не предназначена заменить человека, но предназначена оказать ему помощь в принятии решения, повысить эффективность. Опыт, интуицию и персональные знания невозможно заменить, хотя вычислительные алгоритмы эффективнее человека в части возможности и скорости обработки многомерных и больших данных. Концепция DI заключается в разумной комбинации технологий, методологий, предметной и математической экспертизы. Далеко не любое явление можно оцифровать, и в данных не всегда присутствуют математические закономерности.

Данные не имеют самостоятельной ценности. Скорее, они являются центром затрат. Организации, стартующие с построения «кладовки данных», имеют риск зафиксировать затраты, не найдя выгоды такого проекта в дальнейшем.  Поэтому организация не может быть data-driven. Ценность данных заключается в информации, скрытой в данных, а также в способности человека эту информацию найти и использовать. Ценность данных заключается в «правильных» данных и «правильных» руках людей, обращающихся с ними. 

Подход model-driven уже ближе к практике. Модель несет знания, так как обнаруживает закономерности. В любых ли данных есть зависимости? Конечно же, нет. Практики приведут массу примеров из своего опыта, когда они не находили зависимостей в данных. Вспомним процессы белого шума или броуновского движения – в них нет зависимостей, а лучший прогноз – среднее арифметическое или последнее значение процесса. 

Все ли данные «правильные»? Не все. Не для каждого набора данных можно построить модель, не каждый дата-сайентист настолько опытен, чтобы найти зависимости, даже если они есть. И не все эксперты «правильные». Легко установить математические пакеты R или Python, скопировать скрипт из справочной документации и применить к своим данным, получив прогноз. «Правильные» эксперты умеют не только скопировать скрипт, но и знают теорию случайных процессов, лежащую в основе, статистику, теорию вероятностей, разделы высшей математики.  

Современные методы поиска закономерностей часто склонны к поиску ложных зависимостей: они механически перебирают параметры (grid search), пытаясь улучшить математическую метрику. Такие модели часто хорошо объясняют, но плохо прогнозируют. Статистическая значимость таких моделей обманчива. Но математика без человека часто не может найти осмысленную зависимость. Коллаборация эксперта и математика необходима. 

Таким образом, мы возвращаемся к подходу human-driven. Хотя математические рекомендации на больших объемах многомерных данных чаще лучше экспертных, задачи все же формулирует человек. Человек собирает данные, строит модели. Не всегда математические модели могут быть найдены, и именно человек выносит самостоятельное суждение. Не все данные содержат нужную и валидную информацию, и человек дополняет своим суждением математическую рекомендацию. 

Монетизация данных – командный вид спорта

Следует разделить предметную и математическую экспертизы.  Эксперт в предметной области чаще не имеет математической компетенции, зато владеет знаниями, не содержащимися и не оцифрованными в данных.  Математик – наоборот, умеет выявлять знания, не очевидные эксперту. Но математический анализ часто ущербен без знаний эксперта, без априорных знаний эксперта он не может распутать «клубок» данных.  

Приведем примеры подобных математических выводов. Количество загорающих людей и количество насекомых на пляже оказываются коррелированными. Видимо, чем больше насекомых на пляже, тем больше людей? Или чем больше людей на пляже, тем больше насекомых?  Осмысленный вывод: у них общая причина – солнце и температура! 

Другой пример: изучив частоту покупок в продуктовом магазине, окажется, что наиболее часто покупаемый товар – полиэтиленовый упаковочный мешок. Да и маржа у пакета хороша! Математическая рекомендация может заключаться в том, что в продуктовом магазине следует продавать только упаковочные полиэтиленовые мешки, а остальные товары не нужны. Вывод: математик без предметной экспертизы может и не отличить ложную закономерность от осмысленной. Но если причинно-следственные связи все же есть, математик покажет их силу. 

Итак, возникают две важные роли: эксперт в предметной области и математик-аналитик. Объединять ли роли?  Это не всегда возможно и не всегда целесообразно. Универсализм выгоден лишь самому универсалу. Ему легче выживать в организации, «перепрыгивая» с роли на роль. Универсал везде поработал, всем занимался, но мало где обрел глубокую экспертизу.  Хотя стоит отметить, что стратегия лучше разрабатывается именно универсалом за счет широты знаний, хоть и поверхностных. 

Специалист – от слова «специализация», и это подразумевает глубину знаний.  Чтобы организация развивалась, ей нужны именно специалисты. Например, западной бизнес-культуре скорее свойственна специализация. И сравнения производительности труда на Западе и России часто публикуются. 

Математика – не волшебная палочка. Осмысленность придать ей может только человек. Свалить цифры на математика и ждать от него чудес – ложная установка. 

Decision Intelligence – это объединение экспертных знаний, математических методологий и компьютерных технологий.  Основная ее цель – принятие решения, а это требует хорошего понимания и лежащей в основе бизнес-проблемы, и данных. Поэтому Data Science и Decision Intelligence идут рука об руку: data scientist извлекает информацию из данных, а decision scientist с его исключительным пониманием бизнес-целей применяет эти наработки для решения бизнес-проблемы.

Data scientist фокусируется на сборе и анализе наборов данных, формирует управляемый данными и формулами мир бизнеса, оказывает машинную помощь лицу, принимающему решения. Это технолог, применяющий математику, статистику, машинное обучение.

Decision scientist занимается интерпретацией данных и формул, зависимостей, дополняет их экспертными суждениями и недостающими знаниями. Он рассматривает анализ данных как средство для принятия лучших бизнес-решений, делает выводы и формулы «прикладными», определяя решение, оптимальное с экономической, смысловой, бизнесовой точки зрения. Он применяет математические модели к бизнес-задачам, ищет идеи, осмысливает математические модели. Он стремится найти понимание на основе доступных данных и результатов анализа, и ставит бизнес-проблему на первое место.

Информация о процессе и сущности кроется не только в данных. Не вся информация может быть оцифрована. Эксперт дополняет своей экспертизой и опытом недостающие знания, не содержащиеся в данных. Поэтому нельзя отдавать на откуп полностью всю задачу построения рекомендательной системы для бизнеса одному лишь математику. 

Автор – Юрий Сирота, эксперт в области данных и искусственного интеллекта

На сегодняшний день объемы онлайн-продаж достигли уровня оффлайн формата. В некоторых отраслях наблюдается даже их превышение. Количество накопленных данных о клиентах достигло миллионов записей с сотнями атрибутов для анализа этих данных с целью построения эффективной модели продаж. В связи с этим все более актуальным становится вопрос модернизации информационных систем, поддержки отказоустойчивости систем хранения, интеграции данных с новыми сервисами и унаследованными системами.

Данные как основа взаимоотношений с клиентами

Уже ни для кого не секрет, что грамотная работа с клиентскими данными – это фундамент для непрерывного роста продаж и сохранения лояльности клиентов. Чем больше компания знает о своем клиенте, тем больше подсказок получает об эффективном взаимодействии с ним. Для аналитики учитываются различные атрибуты: используемые продукты или услуги, предпочтительные каналы коммуникаций с вашими сервисами, обратная связь от клиентов на предложения (реакция на e-mail или push-уведомления, SMS, изменение покупательского поведения). Однако в условиях высококонкурентных рынков предприятиям недостаточно просто закрывать сделки (осуществлять продажи), но необходимо удерживать клиентов и минимизировать их отток. Только так можно не просто оставаться на плаву, но и развивать бизнес. Для достижения этой цели современная ИТ-индустрия предлагает массу разнообразных решений и подходов. Чтобы оценить их целесообразность рассмотрим некоторые из них.

Подводные камни

Крупные компании с большими клиентскими базами испытывают проблемы с управлением данными. Еще несколько лет назад эти задачи решались построением клиентского хранилища данных, в которое раз в сутки попадали все новые данные по клиентам: производились необходимые преобразования и очистка, и далее оно использовалось как источник всей информации. Такой подход перестал быть эффективным по причине разрозненности сервисов, большого количества процессов, выполняемых вручную (когда сотрудники «привыкли делать так»). В результате организация процесса передачи данных в каждый новый сервис или облако становится серьезным вызовом.

Большинство крупных компаний используют разные подходы к организации своей ИТ-архитектуры и неизбежно сталкиваются с ограничениями. Причина в том, что на каждом этапе перехода от одного состояния зрелости к другому формируется технический долг. Впоследствии он становится значимым препятствием при переходе к data-driven подходу и использованию клиентских данных для организации эффективных продаж и маркетинговых коммуникаций (в том числе недостаток или избыток коммуникаций с клиентом). И это нормально.

Представим ситуацию, когда у компании есть CRM-система, в которой ведется вся клиентская база. Кроме того, с клиентами взаимодействует колл-центр. «Касания» происходят через сайт, мобильное приложение и еще с десяток других сервисов, предоставляющих разные или пересекающиеся услуги на основе данных из CRM. До тех пор, пока количество этих сервисов невелико, бизнес справляется с задачей обработки клиентских запросов, развивая свою CRM-систему. Однако в определенный момент либо CRM перестает справляться с нагрузкой и ее развитие становится слишком затратным, либо она становится недостоверным источником информации о клиентах. Как следствие, компания начинает развивать свои клиентские сервисы отдельно от CRM, что порождает другую проблему — отсутствие синхронизации данных между ними.

Рассмотрим самый простой кейс – работу с обращениями. Например, обращения можно отправлять через сайт, мобильное приложение, колл-центр и оставлять в офисе продаж. По сути, все обращения из всех каналов коммуникации обрабатываются и маршрутизируются внутри компании. Однако клиент хочет получать обратную связь в том же канале, где и оставлял обращение, а значит возникает необходимость в синхронизации каналов коммуникации с единой базой обращений. Это лишь один пример. Подобных сервисов может быть множество, и более того, они часто требуют взаимодействия между собой.

Сервисный подход к управлению клиентскими данными

В результате проектной работы с заказчиками из разных отраслей бизнеса, у которых насчитывались десятки миллионов уникальных клиентских записей, мы пришли к выводу о том, что самой правильной формой организацией данных становится сервисная модель. При таком подходе заказчик может организовать обмен данными не только для повышения эффективности продаж и маркетинга, но и других служб: юридического департамента, работы отдела качества и отделов работы с претензиями, колл-центра. В общем, для всех, кому по той или иной причине нужно работать с клиентами.

С развитием технологий и клиентских сервисов все больше заказчиков приходят к выводу, что данные нужны в режиме, близком к реальному времени. Суть сервисного подхода заключается в переходе от традиционного подхода хранения данных и их длительного анализа к непрерывному обмену и мониторингу всей необходимой клиентской информации. Таким образом, если компания создает новое приложение, требующее авторизации клиента, его не надо интегрировать с клиентской базой и реализовывать эти процессы в своем ИТ-контуре – достаточно подключить соответствующий сервис. Некоторые компании делают это своими силами, а именно руками специалистов по Data Science, которые разрабатывают собственные модели рекомендаций. Но это встречается не часто.

Преимущество сервисного подхода очевидно. С его помощью можно организовать единую точку входа и выхода данных, другими словами, создание единого профиля клиента. Благодаря этому налаживается процесс, при котором данные хранятся в едином формате, обрабатываются по единым протоколам с едиными правилами для всех подразделений компании, в том числе, если компания владеет разными брендами, с разными ценовыми сегментами, а клиенты – одни и те же. Также этот подход подразумевает масштабирование на новые сервисы в любой промежуток времени, благодаря технологии in-memory database, используемой в системе. Например, если возникает необходимость провести раз в квартал лотерею среди всех клиентов, то эта задача решается подключением нового сервиса к хранилищу данных с привлечением штатных технических специалистов. Но это еще не все. Поговорим о безопасности персональных данных. Так как все данные хранятся в едином пространстве, организовать тот или иной процесс не составляет труда. Это еще и значительно дешевле, чем аттестовать и защищать средствами информационной безопасности все артефакты персональных данных в разных системах.

Не менее важен процесс деперсонализации данных, а именно удаление персональных данных по первому запросу клиентов (соблюдение требований федерального закона 152-ФЗ от 27 июля 2006 года «О персональных данных», которые начали действовать в 2021 году). При сервисном подходе управления клиентскими данными этот процесс выполняются достаточно просто и избавляет организацию от уплаты стремительно растущих штрафов за систематическое невыполнение требований закона.

Финансовые результаты

На основании подхода применения единого профиля клиента для обеспечения достоверными клиентскими данными можно создать фундаментальный сервис по их использованию в любых процессах компании. Самая показательная сфера применения с точки зрения коммерческой выгоды – использование в процессах обеспечения роста лояльности заказчиков и увеличения эффективности от маркетинговых коммуникаций, то есть рост конверсии и снижение стоимости привлечения.

Концепция проста и основана на принципах формирования цикла клиентского пути: от зарождения интереса к продукту до формирования обратной связи о клиентском опыте или товаре и последующих контактах с брендом, где все данные и атрибуты клиентского опыта концентрируются и используются из единой точки, единого хранилища. Объединение клиентских данных, маркетинга и сбора обратной связи о клиентском опыте во всем информационном пространстве способно дать измеримый финансовый результат уже в краткосрочной перспективе, а значит, жизнеспособна с точки зрения эффективности внедрения у заказчика.

Автор – Александр Сергиенко, исполнительный директор компании «Иннодата»

Как индустрии больших данных выжить в нынешних условиях? Ответу на этот вопрос была посвящена дискуссия «Что делать, чтобы индустрия данных выжила», состоявшаяся в рамках форума BIG DATA&AI 2022, проведенного издательством «Открытые системы». (Также о форуме см. «BIG DATA&AI 2022: лучше вместе», «Компьютерный мир», 27 апреля 2022.) Название дискуссии подразумевало, что от отрасли требуется быстрая реакция на произошедшие экономические и политические перемены. По мнению экспертов, эти изменения способны наконец ускорить действия регулятора, демонстрирующего сверхосторожность, а временами — даже медлительность.

Как подчеркнула Анна Серебряникова, президент Ассоциации больших данных, в 2018 году, когда был проведен первоначальный анализ состояния рынка, наши банки и телеком-операторы являлись одними из лучших в мире по применению инструментов работы с данными и искусственного интеллекта. Однако имевшуюся динамику сохранить не удалось, и объем рынка, ожидавшийся к 2021 году, не был достигнут из-за проблем регулирования.

«То, в чем нуждался рынок в 2018 году, остается актуальным и сейчас. Компании хотят получить возможность рассматривать данные как товар и включать их в оборот. Они желают развиваться и работать не в серой зоне, как это происходит сейчас, а полностью легально», — констатировала Серебряникова. Важно установить прозрачную систему контроля со стороны государства и исключить риски борьбы с неизвестным — ведь, как известно, психологически проще все непонятное запретить, нежели разбираться в деталях. Возможно, именно поэтому позиция регулятора по всем направлениям была крайне осторожной.

Анна Серебряникова: «Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только усилятся»

Однако в текущей ситуации российским компаниям крайне важно получить преимущества, зафиксированные в регуляторных требованиях, что позволит ускоренно развивать продукты на основе больших данных. Государство тоже это понимает, однако пока все инициативы реализуются крайне тяжело. Хотелось бы призвать регуляторов и тех, кто готовит для них аналитику, воспользоваться ситуацией и обеспечить российским компаниям возможность создавать уникальные продукты. За основу можно взять опыт Китая, весьма либерально относящегося к обороту данных.

«Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только увеличатся», — выразила опасение Серебряникова.

Айсалу Бадягина, заместитель директора департамента обеспечения кибербезопасности Минцифры, признала, что инициативы действительно продвигаются очень тяжело. По ее словам, причины являются чисто технологическими: на сегодняшний день отсутствуют гарантированные методы обезличивания данных. Разумеется, для государства первична именно задача обеспечения безопасности персональных данных. Как отметила Бадягина, в Минцифры выработаны три направления, по которым сейчас ведется активная работа. Первое из них — предоставление доступа к данным для разработчиков на площадке Минцифры. Второе — возможность создания аккредитованных площадок, соответствующих требованиям законодательства (так называемых дата-посредников). И третье — более активное использование практики экспериментальных правовых режимов.

По словам Бориса Зингермана, генерального директора Ассоциации разработчиков и пользователей искусственного интеллекта в медицине, здравоохранению закон о персональных данных нанес гораздо больше вреда, чем пользы. Можно сказать, что сейчас медицинские организации зачастую не защищают данные, а защищаются от контролирующих органов, действуя «с запасом» и тем самым перекрывая все пути к интеграции и объединению данных и использованию их в научных целях.

Борис Зингерман: «Запрет на обогащение медицинских данных из других источников полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине»

Медицинские данные живут лишь внутри организаций здравоохранения, и как их оттуда достать, интегрировать и использовать, совершенно непонятно. Больше всего Зингермана беспокоит то, что даже из экспериментальных правовых режимов в период их подготовки было удалено все разумное содержание, которое там имелось. Ярким примером может служить запрет на обогащение медицинских данных из других источников, что полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине.

Важно донести до регуляторов, что пользы от применения данных больше, чем рисков. Вероятно, это можно доказать только на практике, и ситуация, в которой мы сейчас оказались, способна стать катализатором, сигналом к действию.

«Резко возросший интерес к большим данным внутри экосистемы ВТБ поражает: число запросов выросло в десятки раз. Поэтому для выживания рынок имеет хорошую почву: если есть интерес у бизнеса, можно выращивать хорошие продукты», — считает Максим Коновалихин, руководитель департамента анализа данных и моделирования ВТБ. Нынешний вызов предоставляет хорошие возможности: работа в области импортозамещения выходит на новый уровень. Действительно, если можно приобрести хорошее готовое решение, создавать собственное мало кто захочет. Однако появившиеся проблемы дали новый стимул, и у людей появился азарт: они хотят создавать решения, превосходящие зарубежные аналоги. Сейчас ВТБ ведет совместную работу с МФТИ по производству собственных программно-аппаратных комплексов.

Кроме того, по мнению Коновалихина, принцип «Лучше меньше, да лучше» становится базовым. Старый подход, при котором компании приобретали много «железа» и забивали его до отказа данными сомнительной ценности, очевидно, перестает работать. ВТБ много инвестирует в направление «умных» данных и предварительного анализа информации, позволяющего избавиться от мусора, не ухудшая качества создаваемых моделей.

«Последние годы были беззаботными с точки зрения возможностей для развития инфраструктуры, и мало кто думал об оптимизации», — согласился Борис Рабинович, CDO «Сбера». Осознавая свои масштабы, в «Сбере» занялись оптимизацией еще в 2020 году, сделав это частью стратегии. Одним из важных направлений стал переход с зарубежных систем на собственные решения в области хранения данных. Сейчас большая часть проектов завершена, по остальным сформированы планы перехода.

Говоря о прочих проблемах, Рабинович выделил очевидную тройку: люди, технологии, инфраструктура. При этом главная загвоздка, по его мнению, именно в кадрах: надо думать, как привлечь в отрасль данных молодых специалистов.

«В конце февраля мы провели анализ рынка больших данных, попытались выявить основные проблемы. Среди них — потенциальное сокращение объема кадров, снижение спроса на новые решения и ограничение доступа к вычислительным мощностям», — рассказал Сергей Наквасин, заместитель руководителя Аналитического центра при Правительстве РФ. Однако, как выяснилось, вычислительные ресурсы почти у всех есть с запасом, и это пока не является проблемой. Отток ИТ-кадров из России резко сократился, и статистика показывает, что он был крайне неоднородным. Главным образом он был связан с наличием большого количества зарубежных заказчиков. Среди специалистов, работающих с прорывными проектами, число уехавших не превысило 5%. А вот что касается спроса на ИТ-решения, то он действительно может несколько сократиться. Во многом именно из-за этого правительство объявило о беспрецедентных мерах по поддержке ИТ-отрасли. Главное, чтобы предоставляемые меры поддержки не разучили айтишников работать.

Руслан Ибрагимов: «Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные»

«Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные», — считает Руслан Ибрагимов, вице-президент по взаимодействию с органами государственной власти и связям с общественностью МТС. Суть цифровой экономики заключается именно в обороте больших данных, поэтому их и назвали новой нефтью. Однако, видимо, такую нефть пока еще не добыли.

По мнению Ибрагимова, регулятор слишком много внимания уделял техническим аспектам, что во многом было спровоцировано появлением GDPR. Однако, если проблему не получилось решить с использованием технического подхода (гарантированное обезличивание данных), надо думать о применении юридического подхода. Лишь запуск в оборот больших данных позволит сделать заметный рывок в направлении цифровой экономики.

«Экспериментальные правовые режимы, которые введены уже давно, должны помогать не только обсуждать проблемы, но и действительно что-то делать. Пора действовать, преодолевая психологические барьеры», — резюмировал Дмитрий Соболев, заместитель директора по направлению «Нормативное регулирование цифровой среды» АНО «Цифровая экономика». Сколько ни тестируй методики на синтетических данных, это имеет мало общего с практикой. ЭПР дают возможность протестировать подходы в «боевых условиях» и получить конкретные результаты. Тем более что у регулятора есть все инструменты для контроля и, при необходимости, прекращения эксперимента.

В 2020 году компания Azercell создала умное озеро данных, которое было призвано стать надежным поставщиком данных и вывести на новый уровень возможности их обработки. Амбициозность задач демонстрирует название проекта: «Стать центром ИИ и аналитики Азербайджана». С помощью мощной платформы компания отслеживает многие процессы в реальном времени, но главным достижением стало то, что люди действительно принимают решения на основе получаемых данных. Об истории и подробностях этого проекта рассказал Азад Гусейнов, директор департамента больших данных и Аналитики компании Azercell.

— Расскажите об истории создания в Azercell умного озера данных.

Создание умного озера данных было начато в марте 2019 года. Наша цель заключалась в том, чтобы предоставить бизнесу больше источников данных, необходимых для анализа. Мы начали создавать озеро данных параллельно с подготовкой среды машинного обучения и развития искусственного интеллекта. С самого момента запуска озеро данных было интегрировано в эту среду.

Кроме подключения различных источников и колоссальных возможностей обработки данных, мы также ввели возможности обработки и анализа данных в режиме реального времени. Сейчас компания, используя созданную платформу, отслеживает свой общий ежедневный доход с 15-минутной задержкой.

— Чем, с вашей точки зрения, умное озеро данных отличается от «обычного»?

Наше умное озеро данных не используется в качестве фиктивного хранилища данных. Оно используется в качестве надежного поставщика данных и платформы для распределенной обработки данных и работы моделей машинного обучения.

— Какие были поставлены цели перед проектом?

Цель состояла в том, чтобы включить множество ценных источников данных, иметь возможность отслеживать все ключевые показатели эффективности практически в реальном времени. Еще одной важной целью было создание культуры Data Governance внутри организации.

После этого мы нацелились на прямую и косвенную монетизацию всего проекта. На основе информации, извлеченной из озера данных, были созданы многие процессы машинного обучения, а также боты.

— Сколько времени и какими силами реализовывался проект?

Начальная фаза проекта в целом заняла 12 месяцев, из которых два месяца ушло на развертывание и перенос данных. Остальное время проекта было потрачено на создание конвейеров потоковой передачи и пакетной обработки. Проект был реализован собственными силами, без каких-либо внешних консультаций и поддержки.

— Какие платформы были использованы?

Среда озера данных создана на основе технологий с открытым исходным кодом — с использованием предоставленного Cloudera дистрибутива Hadoop, Apache Kafka, Apache Nifi. Мы разработали нашу отдельную среду машинного обучения и искусственного интеллекта (сервер рабочих станций) на основе технологий и библиотек с открытым исходным кодом и интегрировали ее в качестве граничного узла в наш кластер озера данных.

Кроме того, для выявления аномалий в данных используется модуль Informatica Data Quality, а для визуализации применяются средства Tableau.

— Что в ходе проекта было самым сложным?

Самой сложной частью всего процесса было формирование видения и миссии всего проекта. Мы должны были определиться, кем хотим быть и что хотим получить в итоге. В результате мы назвали проект «Стать центром ИИ и аналитики Азербайджана», и это стало маяком для всех нас.

— Каких результатов удалось достичь, какие из них вы считаете наиболее важными?

Для принятий решений нами используется достоверная, качественная информация. Все данные, которые занесены в платформу, отслеживаются и при наличии аномалий исправляются. Тем самым обеспечивается достоверность данных в реальном времени, что дает возможность выполнять точные расчеты. Например, сведены к нулю ошибки при оплате, калькуляциях и прочих процессах. Повышение качества обслуживания абонентов.

Кроме того, произошло ускорение time-to-market за счет качественных данных в реальном времени. Рост скорости принятия решений составил до пяти раз.

Но главное достижение — видеть, как люди принимают решения на основе данных, которыми мы их снабжаем. Они достигают реальных целей компании, снижают отток, увеличивают средний доход на пользователя и т.д.

— Приведите пример проекта, который принес заметный результат и стал возможен благодаря внедрению умного озера данных?

На базе озера данных была запущена программа лояльности. Всего за месяц удалось увеличить количество пользователей приложения Azercell на 400%. Мы гордимся этим результатом.

— Пытались ли оценить совокупный финансовый результат от внедренного решения? Ускорение и точность решений, сокращение ТТМ, уменьшение оттока клиентов имеют вполне исчислимые эффекты.

Дополнительный доход составляет 0,5% от общего дохода Azercell в 2021 году. Кроме того, на 25% сократился показатель оттока клиентов.

— В каком направлении будет развиваться озеро данных?

Недавно мы согласовали нашу дорожную карту озера данных с целью превратить его в готовую к выходу в облако платформу данных с использованием последних технологий (таких как Delta, Apache Iceberg), а также контейнеризации. Это позволит нам выполнять любые задачи с данными в гибридном облаке и в локальной среде. Мы также планируем внедрять и использовать только инструменты и программное обеспечение с открытым исходным кодом, что также снизит общую стоимость владения нашей будущей платформы данных.

Высокая конкуренция на рынке розничного страхования побудила компанию «Ингосстрах» к выходу на новый уровень взаимодействия с клиентами. Осознав клиентскую базу как ценный актив, руководство компании создало Центр работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами. О реализации проекта рассказывают номинанты на премию Data Award: Иван Матвеев, первый заместитель генерального директора, Евгений Климов, начальник управления координации продаж и развития отношений с клиентами, и Сергей Мруз, директор департамента онлайн-бизнеса и развития отношений с клиентами компании «Ингосстрах».

— Когда в компании появился Центр работы с большими данными, какова история его создания?

Сергей Мруз: Центр работы с большими данными появился в июне 2020 года, одновременно с созданием департамента онлайн бизнеса и развития отношений с клиентами. В качестве одной из ключевых стратегических задач компания определила развитие клиентоцентричности. Нам нужно лучше понимать, кто наш целевой клиент, какие у него потребности, какие каналы взаимодействия он предпочитает, каким образом реагирует на скидки или повышение цены и т.д. Надо признать, что до тех пор «Ингосстрах» ориентировался скорее не на клиентов, а на договора в системах, а функция клиентоцентричности в значительной степени перекладывалась на агентов.

— Какие «боли» бизнеса привели к столь радикальным изменениям?

С.М.: Руководством «Ингосстраха» была поставлена задача увеличения уровня пролонгации договоров и проникновения продуктов, данное направление воспринималось как явная зона роста. Это подразумевало выход на новый уровень взаимодействия с клиентами. Одним из недоиспользуемых активов оказалась клиентская база: в силу специфики розничного страхования, общение с клиентами происходило только в реактивном режиме – во время их обращений в компанию. Более того, при этом оно происходило не напрямую, а по большей части через посредников.

Осознав клиентскую базу как ценный актив, мы инициировали проект по созданию Центра работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами, а также за счет сокращения клиентского пути в каналах продаж

— Центр работы с большими данными охватил только работу с клиентами или внутренние аналитические процессы тоже?

С.М.: Аналитика клиентов является нашим приоритетом, но также анализируются и другие процессы – например, мошенничество, урегулирование убытков, пролонгация, тарифы и т.д.

— Какие данные используются для работы?

Евгений Климов: Сейчас мы используем социально-демографическую информацию по клиентам, историю их покупок, историю страховых событий, информацию по имуществу клиентов из внутренних источников и открытых внешних источников. При этом была проделана большая работа по перестройке принципов и логики хранения данных страховщика: информация, ранее хранившаяся в разрезе договоров и убытков, была сведена на уровень клиента. Ведутся работы в рамках отдельного направления работ по созданию «золотой записи» клиента группы «Инго».

В основу системы, построенной с целью консолидации и монетизации данных о миллионах наших клиентов, легли решения SAS – от сбора и очистки данных по клиентам, в том числе информации о результатах коммуникаций с ними, до оптимизации целевых маркетинговых кампаний, таргетирования и предрасчета предложений.

— Что включал объем работ и какое время на это потребовалось?

Е.К.: Развертывание всех модулей и первичная интеграция аналитики в бизнес-процессы заняли 15 месяцев. За это время были реализованы трудоемкие процессы по верификации, валидации и обогащению клиентских данных, консолидации информации с уровня договора на уровень клиентов, построены витрины данных, настроены предрасчеты кросс-предложений, на исторических данных построены математические модели сегментации клиентской базы и персонализации предложений, модели прогноза отклика. Также были автоматизированы или модернизированы процессы, влияющие на удобство совершения покупки клиентом, включая калькуляторы страховых продуктов на сайте, автоматическое выставление счета в коммуникациях на пролонгацию договора и систему маршрутизации лидов.

В ближайшее время планируется к реализации операционный CRM, подсистема персонализации кросс-предложений, а также репозиторий кросс-предложений для клиентов всех компаний группы «Инго».

— Какие проблемы при создании аналитической платформы потребовалось решить, что было самым сложным?

Е.К.: Ключевые проблемы, с которыми мы столкнулись: сложность внутренних процессов и систем, проблемы с качеством данных, технические ограничения системы – например, отсутствие возможности масштабировать формирование предварительных расчетов для клиентов. Кроме того, требовалась интеграция с множеством каналов взаимодействия с клиентами.

— Масштабные изменения в процессах компании почти всегда требуют культурной перестройки…

Иван Матвеев: Для развития культуры работы с данными мы совместно со специалистами из школы «Яндекса» и Сибирского федерального университета разработали программу подготовки специалистов в области Data Science. Она запущена на постоянной основе на базе СФУ (Красноярск) и ИГУ (Иркутск).

Текущая программа охватывает специальность data scientist и предполагает подготовку специалистов уровня junior, так как большинство студентов зашли в программу с нулевыми знаниями в этой области. Ведется работа по расширению программы и подготовке data-аналитиков и data-инженеров.

— Каковы потребности компании в специалистах и какова «мощность» программы?

И.М.: Наши потребности в data-специалистах постоянно растут, текущая оценка более 50 специалистов по группе компаний «Инго». Рассчитываем на выпуск примерно 30-40 специалистов в год. Первый поток программы в Красноярске завершается в апреле, в Иркутске – в мае. На обучении сейчас суммарно более 70 человек

— Каких результатов уже удалось добиться?

И.М.: Внедрение аналитических решений помогло нам перестроить процессы целевого маркетинга и вывести на новый уровень культуру работы с клиентскими данными. Мы смогли перейти от реактивного подхода, когда работа идет над входящими обращениями от клиентов, к проактивным персонализированным коммуникациям, когда компания сама создает точки контакта с клиентами и делает предложения, адаптированные под их потребности. Проект уже оказал большое влияние на смежные бизнес-направления внутри финансовой группы «Инго» и способствует развитию страховой экосистемы «Ингосстраха», в рамках которой на первом этапе предполагается запустить кросс-продажи продуктов компаний группы объединенной базе клиентов группы, а на втором – развить продажи продуктов и сервисов от других партнеров.

— Какой из результатов вы считаете наиболее показательным?

И.М.: Очень важно, что проект помог перейти к проактивным продажам, повысить эффективность процессов перекрестных продаж (X-sell) и повысить удобство приобретения полисов для клиентов. Совершенно очевидно, что предложение X-sell должно быть релевантным и доступным во всех каналах продаж, а процесс оформления продукта должен быть коротким, понятным и удобным для клиента. Если же у клиента появляются какие-то вопросы, вся информация по сделанному ему предложению должна быть наготове у сотрудников во всех каналах взаимодействия с клиентом.

— Каковы финансовые эффекты?

И.М.: С помощью аналитического CRM за год апробации подходов к монетизации клиентской базы было запущено более 1,2 тыс. целевых кампаний и направлено более 10 млн коммуникаций. Это позволило получить дополнительные продажи на несколько миллиардов руб. Собственно, главной целью проекта и было повышение кросс-продаж добровольных видов страхования и уровня пролонгации договоров.

Кроме того, нами были организованы процессы по продажам продуктов компаний группы «Инго» (банк «Союз», ИГС-Ж, ИГС-Инвестиции и т.д.). Суммарные продажи на конец 2021 года достигли 700 млн руб. Ранее по этим направлениям не делались целевые маркетинговые предложения, а теперь компания проходит сквозь процесс проработки всех элементов воронки продаж и настройки процессов для дальнейшего масштабирования.

— В каком направлении будет развиваться проект?

И.М.: В финальной стадии реализации находится система Next Best Offer для ключевых каналов продаж. Развивается подсистема приоритезации кросс-предложений на основании ожидаемой доходности от контакта. Одновременно с этим идут автоматизация процессов актуализации клиентских данных и работы по созданию централизованного репозитория кросс-предложений для клиентов всех компаний группы «Инго».

«АльфаСтрахование» продолжает внедрение моделей машинного обучения в бизнес-процессы. В компании запущены модели тарификации и определения эластичности спроса, модели Next Best Offer, оценка на мошенничество как до заключения договора страхования, так и в процессе урегулирования убытка. О реализации таких проектов рассказывает Александр Логачев, CDO компании «АльфаСтрахование», номинанта на премию Data Award.

— Какова история работы с данными в компании?

Страхование – эта отрасль, которая работает благодаря статистике и данным, поэтому можно сказать, что работать с данными компания начала с самого начала своего существования, с 1992 года. С 2010 года для аналитики в компании используется QlikView. С 2019 года мы обратили внимание на использование инструментов open source для работы с данными на базе платформы Hadoop.

— В какой момент в компании появились модели машинного обучения? Что стало причиной, на что рассчитывали?

Первые модели машинного обучения начали использоваться в компании для решения задач тарификации в 2014 году – это довольно мощные и специфичные для страхования линейные модели (Generalized Linear Models, GLM). В 2020 году компания стала использовать нелинейные модели на основе градиентного бустинга на деревьях решений. Основное их отличие – возможность учитывать локальные особенности и закономерности, что существенно повышает точность предсказаний.

— Какие самые сложные проблемы потребовалось решить в ходе проекта?

У нас много задач, которые решаются с помощью машинного обучения – например, для тарификации основным вызовом является проведение ретро-анализов с внешними данными и идентичное ретро-тестам применение модели в «боевых» условиях. Для задачи скоринга крупных убытков основной трудностью было получение статистики из исторической базы в режиме реального времени, а также оптимизация скорости ответа, так чтобы уложиться в 50 мс. Для задачи антифрода непростым стало внедрение модели в решение SAP и ее встраивание в бизнес-процесс.

— Какие платформы используются, почему они выбраны?

Мы используем различные платформы в зависимости от решаемых задач. Например, использование Emblem является общепризнанной практикой для моделей тарификации в страховании. Кроме того, применяем открытые решения Hadoop/Spark, Atlas, Feast, MLFlow как весьма эффективные инструменты для работы с данными.

— В какие процессы включены модели машинного обучения?

Модели машинного обучения используются в задачах тарификации, скоринга крупных убытков, определении мошенничества, модели Next Best Offer и других.

— Как именно изменились эти процессы?

Например, тарификация в ОСАГО перешла на индивидуальный уровень – то есть для каждого клиента и его автомобиля тариф рассчитывается отдельно на основании большого количества факторов.

Для определения мошенничества на этапе урегулирования убытков автоматически выявляются «подозрительные» признаки. Наше подразделение по борьбе с мошенничеством фокусируется на проверках именно таких убытков.

Модели Customer360 и CVM (максимизация ценности для клиентов) позволяют использовать накопленные и внешние данные для улучшения предложения клиенту – за счет рассылки таргетированных предложений или рекомендаций агенту по продуктам, подходящим для конкретного клиента.

— Каких результатов удалось добиться? Как это соотносится с ожиданиями?

Показатели по коэффициенту убыточности существенно улучшились за счет применения различных моделей, что позволяет компании зарабатывать дополнительно несколько сотен миллионов рублей в год. Предиктивность моделей позволяет оценивать эффект до их внедрения и на практике приходить к прогнозному эффекту.

В целом модель тарификации дала возможность предоставить индивидуальные цены и улучшить рентабельность бизнеса, модель определения вероятности мошенничества – найти новые, неочевидные случаи мошенничества, а модель Next Best Offer – увеличить эффективность рассылок и повысить продажи.

— Где машинное обучение показало наибольшую эффективность?

Наибольшую эффективность машинное обучение в страховании показало в индивидуальной тарификации и управлении портфелем. Есть известное правило, что если машинное обучение работает хуже человека, то это мы не доучили модель или недоучли факторы.

— Было ли в проектах то, что вас удивило?

Удивило открытие, что продавцы стараются подбирать набор параметров для максимального удешевления стоимости полисов. Это далеко не всегда заложено в изначальные модели. Поэтому нам пришлось реализовывать ответ на данный вызов и учитывать контекст принимаемого решения.

— В каком направлении будет развиваться машинное обучение в «АльфаСтрахование»?

Мы планируем улучшать модели, добавляя новые факторы, совершенствовать используемые алгоритмы для рекомендаций продуктов. Кроме того, будем использовать модели машинного обучения в других задачах.