Управление Данными 2019

С конца 2018 года в России идет работа над созданием Национальной системы управления данными (НСУД), которая призвана навести порядок в имеющейся у государства информации об объектах (гражданах, организациях), о деловых и жизненных процессах, в которые они вовлечены. Единая среда должна объединить больше сотни ведомственных информационных систем и радикально ускорить процессы предоставления государственных услуг. О ходе реализации проекта и его задачах в рамках форума «Управление данными — 2019», организованного издательством «Открытые системы» 24 сентября, рассказал Василий Слышкин, директор департамента развития архитектуры и координации информатизации Минкомсвязи РФ. Мы попросили его поделиться своими взглядами на перспективы этого проекта.

- Откуда появилась идея Национальной системы управления данными? Какие задачи перед ней стоят?

Эти идеи диктует наша жизнь. Любому неприятно, когда он вынужден приносить справки, необходимые для получения услуг, снова и снова, хотя все данные у государства уже есть. Например, когда женщина родила второго ребенка и ей для получения субсидии нужно собрать документы, ей приходится предъявлять еще и свидетельство о рождении первого ребенка, и паспорт. В результате на гражданина возложены функции, которые мог бы выполнять программный алгоритм. Другая частая история: людям начисляются налоги на давно проданный автомобиль, поскольку данные, которыми оперируют в разных информационных системах, не всегда актуальны. Эти примеры иллюстрируют жизненную потребность в наведении порядка в данных.

Все ожидают, что будет создана среда, которая позволит безопасно хранить данные о каждом гражданине и компании, предоставлять их по запросам тем органам власти, которым это необходимо, и обеспечивать их доступность в режиме реального времени. В итоге это стало одной из задач программы «Цифровая экономика», которую мы реализуем совместно с бизнес-сообществом. Формирование экосистемы управления государственными данными — это одна из первостепенных задач. Вторая наша важная задача — формирование «эталонных данных», которые послужат вкладом государства в становление и развитие рынка данных.

- Какова роль бизнес-сообщества в этом процессе?

Довольно значимая. Мы прислушиваемся к экспертам и вырабатываем ряд инициатив, связанных в первую очередь с вовлечением данных в коммерческий оборот и созданием рынка данных. Мы не можем совершить технологический прорыв без обеспечения возможности воспользоваться этими данными. Например, не удастся обучить нейросеть для диагностики онкологических заболеваний, не дав возможности компаниям использовать данные, накапливающиеся в медицинских центрах и поликлиниках. У нас есть возможность собрать все снимки, но на сегодняшний день законодательно запрещено использовать их. Эта проблема требует обсуждения.

Есть другой показательный пример: мы запускаем информационную систему, связанную с маркировкой товара, и получаем ценную информацию о том, где была произведена конкретная упаковка лекарств, кому из дистрибьюторов была продана и по какой цене, на какой склад была перевезена и в какой аптеке дошла до потребителя. Не воспользоваться такой исчерпывающей информацией было бы как минимум нерационально. А чтобы воспользоваться ею, придется решить ряд задач: убедиться, что это не нарушает ничьих прав, сделать доступ к информации недискриминационным. Ведь информация о ценах и прочих коммерческих составляющих деятельности компаний может быть чувствительной для конкуренции.

- НСУД будет иметь дело только с данными из государственных систем?

Надо понимать, что НСУД — не только информационные технологии. Это комплекс организационных и технологических мероприятий, методологий, законодательных инициатив, направленных как на создание и запуск самой системы, так и на подготовку кадров для нее.

Мы прорабатывали архитектуру системы достаточно долго — с осени прошлого года, вовлекая как бизнес-сообщество, так и органы власти (более 20 ведомств). Требуется сделать очень многое — начиная с федеральных законов и поправок в законодательство, которые позволили бы работать с данными. Последствия этих изменений будут значимыми для информационного взаимодействия между государством, гражданами и бизнесом. Да, мы будем иметь дело с информацией из государственных систем, но они часто работают с данными о людях, их имуществе и здоровье, о юридических лицах, их отчетности перед государством и т. п. Иными словами, границу между «чисто государственными» и «остальными» данными еще предстоит определить.

На данный момент из более чем 800 информационных ресурсов у нас есть 108 федеральных ресурсов, содержащих государственные данные. Они являются уникальными специфическими реестрами для выполнения разнообразных государственных функций и предоставления госуслуг, записи в них являются юридически значимыми, и их использование принесет заметную пользу гражданам и компаниям.

Надо сказать, что на сегодняшний день далеко не все реестры доступны онлайн, и нам их нужно реализовать так, чтобы они были доступны в любой момент с любого компьютера или мобильного устройства, обеспечивая при этом юридическую значимость предоставляемых данных. Естественно, этот доступ должен быть защищенным и безопасным.

Таким образом, в создаваемой системе важны сразу несколько элементов. В качестве основы — законодательство, которое определяет правила работы с данными. Второе — единые требования по обеспечению доступности данных. Третье — сама техническая реализация, позволяющая обеспечить доступ к данным практически в реальном времени.

- Вполне естественный вопрос: НСУД — это скорее для государства или для людей?

Система ориентирована в большей степени именно на потребности людей — физических и юридических лиц, ведь конечный эффект будет заключаться в скорости получения ими услуг. Необходимо максимально высвободить человека из формального процесса обмена юридически значимыми данными, возложив все технологические операции на систему.

- Есть ли видение того, какие данные система должна охватывать? Насколько этот список является полным?

Сейчас проводится эксперимент, в который включены пять направлений. Два из них — формирование единого адресного пространства и создание федерального регистра избирателей — охватывают относительно статичные данные, и, казалось бы, проблем быть не должно. Однако есть смертность, и очевидно, что «умерший» человек не должен завтра проголосовать на избирательном участке. Есть процессы миграции населения, а также вопросы, связанные с потерей избирательного права. На территории России проживают более 108 млн человек, которые являются избирателями, но в течение года в каждом регионе их число меняется.

Кроме того, в период эксперимента, до марта 2020 года, производится сбор статистической ведомственной отчетности по отрасли сельского хозяйства, создание цифрового профиля гражданина и формирование паспортов муниципальных образований. Эти пять экспериментальных направлений охватывают 34 информационных ресурса и представляют собой наиболее приоритетную часть проекта.

В этом году мы составим график дальнейшего включения информационных систем в НСУД. К 2021 году в режим онлайн-доступа будут переведены все 108 федеральных реестров, а также информационные ресурсы, участвующие в реализации суперсервисов — комплексных услуг, привязанных к жизненной ситуации. Более точную оценку охвата систем можно будет дать чуть позже по результатам обследования. По предварительным оценкам, это будет около 70–80% оборота информационного взаимодействия.

- Какие сроки развертывания системы определены?

Индикативной целью является 2021 год, но объем работ будет уточнен по результатам эксперимента. Проводимая в рамках эксперимента работа позволяет выявлять проблемы, требующие решения. Так, ни одно ведомство сейчас не ведет реестр недееспособных граждан, который необходим для решения целого ряда задач — например, для того же регистра избирателей. Многие ресурсы ведутся исключительно на бумаге, что требует разработки реестра с нуля.

Сейчас в эксперименте участвуют 14 регионов, в ходе работ с которыми мы совместно с федеральными ведомствами проводим аудит систем и реинжиниринг информационных потоков, выполняем работу по оценке качества данных и строим совместные планы по модернизации систем.

- Какие еще проблемы ожидаются? Как их планируется решать?

Сейчас много говорится о развитии технологий, цифровизации и совершенствовании законодательства, однако главным вызовом для нас является кадровый вопрос: мало специалистов нужного профиля. В отрасли нет консенсуса по поводу того, что такое «специалист по управлению данными». За рубежом существуют профессиональные ассоциации, которые позволяют оценить специалиста и сертифицировать его. У нас нет принятых методик и стандартов в области управления данными, на основании которых можно было бы эту компетенцию развить.

Простой пример: в мире насчитывается около 80 тыс. специалистов по управлению данными. На территории России нет профессиональных организаций, которые бы проводили аттестацию таких специалистов. У нас нет специальности в вузах, которая называлась бы «специалист по управлению данными». Но если посмотреть на рекрутинговые площадки, то можно увидеть около тысячи вакансий, где требуются специалисты подобного профиля. Эта область пока слабо формализована, не организована массовая подготовка кадров.

Конечно, отрадно, когда запускаются проекты по обучению в инициативном порядке: коммерческие компании совместно с ведущими вузами, предвидя спрос, начинают готовить кадры «под себя». Но в масштабах всей страны так проблему не решить. На мой взгляд, именно эта задача является первоочередной. С технологиями мы справимся, а вот компетентных людей сразу не получишь.

- Какие решения планируется использовать в ходе создания НСУД?

Надо понимать — и это очень важный аспект, о котором следует открыто говорить, — что система будет являться частью критической инфраструктуры Российской Федерации. Если какая-то ее часть перестанет работать, случится коллапс — и этого нельзя допустить. К сожалению, санкционные риски слишком значимы, поэтому основная задача, которую мы ставим перед исполнителями, — реализация решений на отечественном программно-аппаратном обеспечении. Это возможно: на нашем рынке существуют не только СУБД, но и технологии, которые ориентированы на управление мастер-данными, на управление качеством данных.

Одним из важнейших элементов НСУД станут ведомственные витрины данных — срезы нужной информации из систем государственных органов. Что должна представлять собой витрина данных, в которой отражены сведения о паспортах граждан? Как минимум она должна выдерживать нагрузки в несколько десятков тысяч запросов в секунду. Для большинства решений этот показатель недостижим, но наши исследования показывают, что такие системы могут быть построены за счет сочетания нескольких современных подходов: например, обработки данных «на лету» в оперативной памяти, оптимизации алгоритмов индексирования и доступа и других.

Из-за объемов, которыми нам придется оперировать, это технологически сложный проект. Сотни миллионов записей, десятки тысяч запросов в секунду — это гораздо больше, чем масштаб крупной корпорации.

- Какие ожидаются эффекты? Чего планируется достичь?

Наша цель — сформировать экосистему доверия, где мы могли бы создавать условия для рынка данных. В такой среде данные должны стать ценностью, значимой для участников рынка. Как оценить объем этого рынка? Это отдельная задача, равно как и создание правил игры на нем. Например, в Ассоциации больших данных пытаются этим заниматься.

Но для того чтобы этого достичь, нужно навести порядок в данных, подготовить их. Два хозяйствующих субъекта должны иметь возможность ссылаться на данные государственных реестров, для того чтобы совершать юридически значимые сделки «в цифровом виде». Они должны получать эффект от использования доверенных государственных данных — как в случае с маркировкой товаров.

Одной из больших побед на этом пути для нас станет формирование «первой сотни эталонных ресурсов» — государственных общенациональных информационных систем, юридически значимых и доступных онлайн, защищенных в соответствии со всеми требованиями. Если мы к концу 2021 года получим эту «первую сотню», результат работы нашего министерства по НСУД будет вполне ощутим.

- Чему посвящено ваще выступление и что было бы вам интересно услышать?

Выступление посвящено нашим шагам на трехлетнюю перспективу. Важно, чтобы у бизнес-сообщества было понимание вызовов, которые перед нами стоят, и результатов, которых мы собираемся достичь. Эти результаты трансформирующие, они будут иметь значимое влияние как на органы власти, так и на бизнес — особенно, если дело касается работы с данными.

В докладах коллег хотелось бы услышать интересные факты о работе с данными и о проблемах, с которыми им приходится сталкиваться. В идеале было бы хорошо услышать аналитику и рекомендации. Нам важно координироваться и учитывать в своих действиях появляющуюся на рынке практику.

Многообразие типов данных, большие объемы, скорость поступления телеметрии и необходимость ее обработки в реальном времени — все это делает особо актуальной задачу управления данными для платформы Промышленного интернета (IIoT). «Северсталь» в 2018 году создала такую платформу, начав на ее базе реализовывать интеллектуальные сервисы, приносящие быстрые и очевидные эффекты. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital и один из докладчиков форума «Управление данными — 2019», рассказывает о подходах, выбранных для построения платформы, проблемах, с которыми приходится сталкиваться, и своих взглядах на вопросы управления данными.

- Что представляет собой платформа Интернета вещей применительно к потребностям крупного промышленного холдинга? Каковы ее роль и задачи?

Стоит начать с причин создания этой платформы и связанных с ней ожиданий. Около трех лет назад, после появления термина «Индустрия 4.0», у руководства компании возник вопрос, можно ли вести бизнес более технологично и что можно сделать, используя современные технологии. К этому времени уже прошла волна хайпа вокруг Big Data, начинался всплеск интереса к Data Science. У нас очень много оборудования и различных сенсоров, поэтому есть возможность стать обладателями большого количества данных, порождаемых ими. Но этого не происходило — такие данные просто не хранили. Запрос бизнеса заключался в том, чтобы реализовать платформу для сбора и хранения данных и на ее базе создавать продукты, дающие возможность пересмотреть бизнес-процессы и извлекать дополнительную выгоду. Получение дополнительного финансового эффекта и стало основным KPI нашего департамента от внедрения машинного обучения в производстве.

Поскольку начинали с задачи сбора данных, потребовалось создать хранилище, которое позволит подстраиваться под любые требования и будет достаточно недорогим. Изначально не было известно точно, с какими данными придется столкнуться: предполагались временные ряды, но думали и про видео, и про обработку изображений. Опираясь на собственный опыт, я выбрал Apache Hadoop как самое простое решение. В каких-то случаях эта платформа может быть неоптимальной, но в целом позволяет защищенно и недорого хранить большие объемы данных.

Следующим этапом стал выбор, традиционный для многих, — уходить в облако или создавать собственную инфраструктуру. Проведя оценку на горизонте нескольких лет, мы выяснили, что облако при постоянно возрастающей нагрузке обойдется дороже. Основное достоинство облака — возможность справляться с пиковыми нагрузками, а у нас при накоплении данных ожидается экспоненциальный рост. Поэтому было решено инвестировать в собственные мощности. На проектирование и закупку оборудования ушел год. В 2018 году у нас появилось хранилище, где мы можем собирать любые данные.

Далее потребовалось обеспечить работу созданных моделей на данных, возникающих в реальном времени. Все производственные процессы имеют жесткие ограничения по времени, и нельзя, как в других отраслях, проводить расчеты раз в сутки. Все должно происходить «здесь и сейчас». Поэтому в рамках второго этапа используемые технологии были дополнены еще одним компонентом — защищенной очередью на базе Apache Kafka, позволяющей хранить события и иметь их «горячий» набор.

На этих двух компонентах — Hadoop и Kafka — и были получены первые эффекты, подтвердившие верность выбранного подхода.

- Ранее вы работали в компаниях из других отраслей. Каковы особенности процесса управления данными в промышленности?

Основное отличие в том, что наши данные имеют плоскую структуру. Если говорить про пирамиду производственных систем, где внизу находятся датчики и SCADA, а наверху — ERP и аналитические платформы, то мы собираем данные с самого нижнего уровня. Там нет никакой структуры, все данные приходят в сыром виде. Это позволяет избирательно с ними работать, исследуя их и выявляя взаимосвязи между показаниями датчиков, что хорошо. Но минус заключается в том, что в этих параметрах требуется разобраться, понять, что они означают, изучить их влияние на целевые показатели. Нашим исследователям данных приходится тесно работать с производственниками, регулярно выезжая на предприятия. Ни одно внедрение не происходит без участия владельца продукта, который контролирует процесс разработки функционала и его принятие со стороны производства.

Таким образом, у нас нет структуры данных, но зато наблюдаются большое разнообразие и гигантские объемы. При этом изначально невозможно предсказать, какие из данных окажутся полезными.

- Есть два радикальных подхода: одни собирают и хранят все данные подряд, а другие действуют более избирательно и накапливают только те данные, в которых изначально видят ценность…

Мы являемся убежденными сторонниками первого подхода. Во-первых, мы не всегда понимаем физику процессов и у нас нет опыта в металлургии — вся команда собрана с нуля из разных отраслей. Во-вторых, один и тот же агрегат может быть полем для реализации многих проектов: например, можно начать с предсказания его отказов и закончить оптимизацией подачи сырья. Если мы не будем собирать все параметры сразу, то что-то точно потеряем.

Когда позволяет «железо», лучше собирать всё. А мы его проектировали так, чтобы оба наших инструмента — и Kafka, и Hadoop — горизонтально масштабировались, причем максимально дешево. И пока еще не было ни одного прецедента, чтобы мы выбросили какие-то данные, потому что убедились в их бесполезности. Как показывает практика, только недостаточная масштабируемость используемых платформ заставляет людей экономить и ограничивать себя.

Да, хранение обходится в определенную сумму, это капитальные расходы. Но могу сказать, что закупленное оборудование себя уже окупило, так как для построения платформы используются самые бюджетные решения.

- Какие подходы при создании платформы были выбраны? Речь идет о принципиальном использовании решений из разряда Open Source?

Плюсы и минусы открытых платформ хорошо известны. Мы были изначально нацелены на финансовый результат, для этого нам требовалось как можно больше данных при минимально возможных издержках. Поэтому мы выбрали максимально производительные и дешевые решения.

Open Source позволяет на первых этапах ничего не вкладывать, а если что-то пойдет не так, подход можно изменить без особых потерь. У меня как у архитектора был карт-бланш на выбор стека используемых технологий. «Северсталь» никак не участвовала в его согласовании, и нам удалось получить то, что мы считали необходимым. Это помогло быстрее стартовать, и я до сих пор доволен сделанным выбором. Потребовалось лишь добавить некоторые специфические инструменты там, где это необходимо. Например, когда появились требования по отказоустойчивости модели, мы развернули кластер Kubernetes, который позволяет иметь модель в постоянно рабочем состоянии.

Самое сложное для нас — приобретение и накопление экспертизы. На рынке сложилась категория «технологических» компаний, имеющих определенный имидж инноваторов, и при прочих равных условиях они имеют преимущество в борьбе за таланты. Мы двинулись в этом направлении всего несколько лет назад. Поэтому мы взяли курс на взращивание собственной экспертизы: «Северсталь» довольно специфична и с точки зрения используемых систем, и с точки зрения производственных процессов. Мы делаем все, чтобы наши люди были заинтересованы в собственном развитии. Кроме того, мы собираемся строить целую экосистему сервисов, которые будут давать экономический эффект, и совсем не хотелось бы при этом зависеть от внешних компаний.

- С какими ключевыми проблемами управления данными вы сталкиваетесь?

Данные возникают «на местах» — в цехах на различных производствах. Нам приходится иметь дело с «функциональными колодцами»: каждое подразделение замкнуто, и, занимаясь данными, люди думают только о своих задачах. С каждым из них приходится договариваться — например, о том, что какие-то из данных не надо удалять, о том, что настройки сенсоров нельзя изменять без согласования. Люди учатся воспринимать данные как один из активов компании. Иначе необдуманное обращение с ними может повлиять на многие процессы в компании.

Кроме того, далеко не все источники готовы к интеграции, многие агрегаты являются довольно старыми и попросту не предполагают этого. Постепенно эта проблема решается как обновлением оборудования, так и добавлением новых модулей.

Можно сказать, что обе эти проблемы характерны для любого российского металлургического предприятия. Они преодолимы, но для этого нужно время.

- За любой актив кто-то должен отвечать. Кто владеет данными у вас?

У нас этот вопрос окончательно не решен. Собрав большой объем данных, мы пока не договорились об их владельцах, потому что концентрировались на бизнес-результатах. Сейчас многие контрагенты на предприятиях, поставляющие нам данные, де-юре владельцами не являются, хотя многие организационные и процедурные вопросы с ними удалось решить. Это один из шагов, который нам предстоит сделать в ближайшее время. Как только люди станут владельцами и у них появится новый функционал, они смогут обеспечить его ресурсами и задумаются, в каком виде данные могут быть полезными и кому.

Разумеется, владельцами данных должны быть люди из бизнеса. Например, Chief Data Officer — не владелец данных. Это человек, отвечающий за то, чтобы данные приносили пользу бизнесу. У нас такой должности пока не существует, можно сказать, что в какой-то степени эта роль лежит на мне. А на местах должна идти речь о «стюардах данных» (data steward) — экспертах, которые понимают, где расположены данные, и готовы их предоставить.

- Каким вы видите будущее создаваемой в «Северстали» платформы данных?

Я склонен считать, что централизованное озеро данных в том виде, который все хотят иметь, — не конечная точка развития. Если проводить аналогию с архитектурой приложений, то уже сейчас используется микросервисная архитектура, а следующим обсуждаемым шагом является «бессерверная» архитектура. Примерно так же можно поступать и с данными: необязательно их собирать физически в одном месте — достаточно иметь транспортную инфраструктуру, позволяющую получать данные в режиме времени, близком к реальному. Это позволит при необходимости обращаться к данным на местах, работать с ними и без задержек запускать новые проекты. Собирать все данные в едином центре следует только тогда, когда это действительно нужно и удобно.

Мне было бы интересно создать архитектуру, существующую в виде федерации, а не единого озера данных. Озеро данных может быть логическим и распределенным по разным организациям, объединенным стандартами работы с данными и протоколами обмена.

- Чему, на ваш взгляд, уделяется недостаточно внимания при обсуждении тематики Интернета вещей и больших данных?

Мы неоднократно встречались с партнерами и конкурентами по рынку, поэтому могу точно сказать, что проблемы у всех примерно одинаковы: трудность подключения к источникам данных, качество и многообразие данных. Но когда мы занимались «традиционной» автоматизацией процессов, проблемы были такими же.

Многое по-прежнему решает человеческий фактор: если сотрудники хотят сложившийся процесс дополнить интеллектуальной функцией, это получится сделать; если у людей нет мотивации, сами собой изменения не наступят. Возможно, такую культурную трансформацию и следует обсуждать подробнее: как сделать, чтобы люди, всю жизнь проработавшие на производстве с «аналоговыми» данными, приняли факт того, что их огромный опыт может быть дополнен извне. Возможности машинного обучения не противопоставляются знаниям в предметной области, а дополняют их.

- О чем вы планируете рассказать на форуме и что хотели бы услышать от других?

Это мое первое участие в подобном мероприятии, и для нас важно представить «Северсталь» как компанию, способную использовать современные технологии для повышения эффективности. Я готов рассказать о своем опыте и используемых решениях — возможно, это даст пищу для размышления тем, кто только начинает подобный путь, и позволит проделать его с меньшими потерями.

От других жду рассказов о подходах, применяемых во владении данными: каким образом выстроена политика по управлению данными на производстве, как обсуждаются стандарты по генерации данных и их очистке. К сожалению, данные по-прежнему воспринимаются многими как побочный продукт производства. Возможно, когда эффекты от внедрения искусственного интеллекта и машинного обучения будут сопоставимы с результатами основной деятельности, объяснить ошибочность таких взглядов будет проще.

Полтора года назад компания Mr. Cooper запустила интеллектуальную систему рекомендаций для своих агентов по обслуживанию, которая должна была помочь в решении проблем клиентов. (Компания, ранее известная как Nationstar, — крупнейший игрок рынка небанковского ипотечного кредитования в США с 3,8 млн клиентов.) Казалось, проект сэкономит предприятию огромные деньги. Потребовалось девять месяцев, чтобы выяснить, что агенты не использовали его, признает ИТ-директор компании Шридхар Шарма. И еще полгода, чтобы понять, почему.

Рекомендации, которые предлагала система, не были релевантными, обнаружил Шарма. Но проблема заключалась не в алгоритмах машинного обучения, а в том, что обучение полагалось на данные, основанные на технических описаниях проблем клиентов, а не на том, как клиенты описывали их своими словами.

«Мы проделали недостаточно хорошую работу, поэтому не поняли того, что суть проблемы пользователей кроется в словах, которые употребляют именно они, – сказал он. – Мы же в своей программе использовали только те термины, которые сами используем внутри компании».

Кроме того, механизм обратной связи, в котором агенты записывали результаты звонков, имел перекрывающиеся категории проблем, что, по словам ИТ-директора, еще больше усугубило проблему. Шарма отказался сообщить, во сколько проект обошелся компании.

Такая неудачная «вылазка» Mr. Cooper в область искусственного интеллекта — не аномалия. Согласно недавнему опросу IDC, только около 30% компаний сообщили, что 9 из 10 их проектов, связанных с искусственным интеллектом, были успешны. У большинства провальны около половины подобных проектов; 3% опрошенных заявили, что более половины их проектов искусственного интеллекта потерпели неудачу.

В качестве основных проблем более четверти респондентов назвали нехватку квалифицированного персонала и нереалистичные ожидания в отношении этой технологии. Еще 23% заявили, что их проекты потерпели неудачу из-за отсутствия необходимых данных.

«При первых признаках неудачи все пытаются приложить дополнительные усилия, чтобы "вытащить" проект, – говорит Шарма. – Но если вы ввязываетесь в это, то вы обречены».

Mr. Cooper вернется к проекту в области обслуживания клиентов в следующем году в рамках общей перезагрузки своей системы CRM; компания по-прежнему настроена иметь дело с искусственным интеллектом. Ее последний проект машинного обучения, который включает в себя анализ неструктурированных данных, уже имеет положительный бизнес-эффект и помогает готовить лучшие данные для обучения.

«Эти уроки недешевы», – признает Шарма, добавляя, что требуется вовлеченность генерального и финансового директора: они должны быть в курсе, если что-то идет не так.

Нехватка данных

Проблемы с данными — одна из главных причин, почему проекты искусственного интеллекта не оправдывают ожиданий. Согласно докладу, опубликованному McKinsey прошлой осенью, две из самых больших проблем, ограничивающих применение технологий искусственного интеллекта, связаны именно с данными.

Во-первых, подобно Mr. Cooper, многие компании испытывают трудности с получением правильно размеченных данных для обучения алгоритмов машинного обучения. Если данные не классифицированы должным образом, нужно время, чтобы разметить их, что может задержать работу или вообще привести проект к провалу. Вторая проблема с данными – это отсутствие нужных данных для проекта.

«У компаний часто нет необходимых данных или же они не могут строить модели с данными, поскольку те не размечены», – говорит Ананд Рао, партнер и глобальный лидер по искусственному интеллекту в PricewaterhouseCoopers.

Национальное Одюбоновское общество использует искусственный интеллект, чтобы защитить диких птиц. Так, в июле организация опубликовала результаты анализа того, как изменение климата повлияет на 38 видов луговых птиц.

«Если мы ничего не сделаем, чтобы замедлить изменение климата, то 42% видов луговых птиц окажутся очень уязвимыми, – говорит Чад Уилси, вице-президент по исследованиям в области сохранения видов. – Но если мы сможем принять меры, то уменьшим этот показатель до 8%».

Не все аналогичные проекты Одюбоновского общества были столь же успешными. Прошлым летом в организации попытались использовать машинное обучение для подсчета количества коричневых пеликанов и черных водорезов на пляжах. Пилотный проект был основан на наборе изображений, собранных добровольцем, который запускал дрона над островом у побережья Техаса.

«Нам было интересно понять, как ураган, который прошел над островом, повлиял на популяцию птиц», – говорит Уилси.

По словам Уилси, потребовалось 2 тыс. размеченных изображений коричневых пеликанов, прежде чем точность системы была достаточно хороша для их нужд. Но изображений черных водорезов было недостаточно. «Для других приложений компьютерного зрения вы можете использовать то, что доступно в Интернете, – говорит он. – Но в данном случае, образы птиц очень специфичны».

Так, большинство доступных фотографий птиц сделаны людьми, которые находятся на уровне земли, а не дронами, «смотрящими» прямо вниз. И поскольку это было пилотное исследование, у Одюбоновского общества не было ресурсов, чтобы продолжить сбор данных и сделать больше снимков.

«Однобокость» данных обучения

Другим примером проекта, которому помешала нехватка данных, является попытка Fritz Labs создать модель для идентификации волос на фотографиях людей. Fritz помогает разработчикам создавать модели, которые могут работать непосредственно на телефонах, без необходимости отправлять данные на центральный сервер для обработки.

«Мы хотели создать функцию, которая будет "обнаруживать" волосы в живом видео и прямо в нем изменять их цвет», – сказал Джеймсон Тул, технический директор компании.

Сначала все выглядело хорошо, говорит он, но у алгоритма обнаружился существенный изъян, который привел бы к очень серьезным проблемам, стань приложение публичным.

«К счастью, мы много тестировали функцию на самих себе и с людьми, которых привлекли специально для этого, и обнаружили, что функция работает не очень хорошо для определенных этнических групп, – отметил Тул. – Мы еще раз просмотрели исходные данные — и, конечно же, среди них не было изображений представителей этих групп».

По его словам, для обучения доступно множество наборов изображений, как бесплатных, так и коммерческих. Но необходимо убедиться — достаточно ли тех данных, которые нужны.

«Требуется время и усилия, чтобы сформировать собственный набор тестовых случаев, который исчерпывающим образом представляет пользовательскую базу вашего приложения», – подчеркнул Тул.

В Fritz Labs собрали недостающие изображения и разметили их вручную. «Это, безусловно, подчеркивает тот факт, что в подобных системах может легко случиться какой-то перекос, когда вы ограничены данными, которые у вас есть», – добавил он.

Согласно недавнему опросу PricewaterhouseCoopers, более половины компаний не имеют формального процесса оценки данных приложений искусственного интеллекта на «необъективность» данных. Кроме того, только 25% опрошенных заявили, что будут уделять приоритетное внимание этическим последствиям проектов искусственного интеллекта перед их реализацией.

Проблемы интеграции данных

Иногда проблема заключается не в недостатке данных, а в том, что их слишком много и они – во многих местах. Так было в одном глобальном банке, по словам руководителя отдела искусственного интеллекта и аналитики данных розничного подразделения банка, который не уполномочен говорить об этом «под запись».

По его словам, если бы он мог вернуться назад во времени, банк бы раньше начал собирать данные из разных каналов: «Мы этого не делали, и это было большой ошибкой. Наши данные были разрозненны, и как следствие у нас не было полного представления о наших клиентах».

Это ограничило возможности банка генерировать эффективные маркетинговые предложения и привело к снижению доходов; теперь банк переходит к многоканальному представлению данных клиентов, включая онлайн, мобильные и личные взаимодействия.

«Мы все еще не добились этого, – признал он. – Изолированные данные – одна из самых больших проблем, которые у нас были и есть».

Проблема не столько техническая, сколько деловая; первый шаг – соблюдение требований и регламентация: «Есть определенные типы данных, которые мы не можем смешивать».

Другой вопрос связан с приоритетами компании. «Есть так много других проектов, которые работают. И кто заплатит за объединение данных? Это само по себе не является добавочной стоимостью для банка», – указал он, добавив, что с подобными проблемами может столкнуться каждый банк.

Однако приступать к интеграции данных необходимо тогда, когда стартует первый проект в области искусственного интеллекта. «Не думаю, что мы когда-нибудь будем готовы полностью, ведь есть так много источников данных, – резюмировал он. – Я не думаю, что есть компания, которая к этому полностью готова».

В банке рассчитывают, что основные источники данных будут подключены в ближайшие полтора-два года. Сейчас в данном направлении выполнено лишь 10-15% работы.

«Дрейф» данных

Еще одна проблема для проектов искусственного интеллекта заключается в том, что компании полагаются на исторические данные вместо активных транзакционных данных для своих учебных наборов. Во многих случаях системы, обученные на статических исторических снимках, не очень хорошо работают при переходе на данные реального времени, отметил Андреас Браун, который возглавляет работу с данными и искусственным интеллектом в европейском отделении компании Accenture.

«Вы выгружаете некие данные, тренируете модель и получаете довольно хороший результат в лаборатории. Но как только вы запускаете это в работу, начинаются проблемы», — сказал он.

Существует значительная разница между историческими выборками данных и данными, поступающими через живую систему, например, для обнаружения фрода в реальном времени или выявления случаев отмывания денег, потому что модели оказываются не обучены улавливать небольшие изменения в поведении.

«Если вы копируете данные в какой-то момент времени, скажем, ночью, или в субботу или воскресенье, то "замораживаете" ситуацию, – отметил он. – Это делает аналитику в лаборатории очень легкой. Но когда модели машинного обучения встраивают в живую систему, они работают намного хуже».

Решение, по мнению Брауна, заключается в том, что аналитики данных не должны сидеть в бункере, отрываясь от реального бизнеса. Когда модели строятся с использованием «живых» данных, интеграция моделей в производственные среды происходит намного быстрее: «И успехи гораздо, гораздо лучше. Это полностью меняет игру».

Забытые неструктурированные данные

Согласно недавнему опросу Deloitte Consulting, 62% компаний по-прежнему обходятся электронными таблицами и только 18% при анализе используют неструктурированные данные — изображения продуктов, аудиофайлы разговоров с клиентами или комментарии в соцсетях.

Кроме того, многие исторические данные, которые собирали компании, оторваны от контекста, который должен быть полезен для решений искусственного интеллекта, или хранятся в сводной форме, полагает Бен Стиллер, руководитель стратегической и аналитической практики в области розничных и потребительских продуктов компания Deloitte Consulting. Ограниченность в данных, безусловно, может с самого начала приговорить проект к неудаче.

Компании, которые используют неструктурированные данные, например, Mr. Cooper, согласно опросу, на 24% чаще добиваются своих бизнес-целей.

«То как вы работаете с данными, действительно требует фундаментального пересмотра», – считает Стиллер.

Mr. Cooper, например, владеет огромными объемами неструктурированных данных – около полутора миллиардов документов клиентов. В результате агенты по обслуживанию клиентов тратят слишком много времени на поиск нужных документов, и иногда, не находя их, бывают вынуждены перезванивать клиентам.

Поэтому компании пришлось отсканировать все 1,5 млрд документов и с использованием технологии машинного обучения внимательно проанализировать набор из 150 млн документов, которые попали в число двухсот самых используемых типов.

«Этот проект на базе машинного обучения, который действительно приносит пользу, нашел реальное применение», – говорит Шридхар Шарма из Mr. Cooper.

Мало того, что обзвон клиентов стал быстрее, анализ документов помогает создать лучший словарь для будущего использования, когда компания вернется к своему ранее проблемному проекту обслуживания клиентов с использованием искусственного интеллекта.

Культурный вызов

Не только проблемы с данными, но и организационные вопросы вставляют палки в колеса проектов искусственного интеллекта.

Например, Шарма признался, что если бы он вернулся назад во времени, то начал бы работать с языком, который клиенты используют при объяснении своих проблем, и связал бы экспертов по предметной области с разработчиками приложений искусственного интеллекта: «Людей из бизнеса надо объединить с технологическими группами, чтобы контекст всегда был во главе угла. Вы должны заставить их сидеть вместе весь рабочий день».

И если не учиться на такого рода ошибках, шансы на то, чтобы извлечь выгоду из искусственного интеллекта, могут сократиться: неудачные проекты не только отпугивают тех, кто распределяет финансовые средства, но и негативно влияют на удовлетворенность сотрудников и клиентов.

Из-за ранних провалов проектов инвесторы теряют значительные средства, не получая никакой отдачи, а предприятие рискует начать отставать от конкурентов.

Все начинается сверху. Как показывает опрос Deloitte, участие высшего руководства для проектов искусственного интеллекта жизненно важно. «Если проект спонсирует генеральный директор, шансы достичь целей повышаются на 77%», – говорит Стиллер.

Не позволяйте неудаче ослабить вашу приверженность технологиям искусственного интеллекта — долгосрочный подход окупится, уверен он: «Чем больше проектов вы с течением времени вы делаете, тем выше становится их ROI».

«Истинная цифровизация происходит только тогда, когда данные становятся реальным активом предприятия и когда с ними умеют работать его сотрудники на любом уровне управления», — уверен Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации. Для этого недостаточно «запилить озерцо данных» и нанять нескольких исследователей данных — культура работы с данными должна стать неотъемлемой частью работы всего коллектива. В рамках международного форума «Управление данными — 2019», который издательство «Открытые системы» проведет 24 сентября, Михаил Петров расскажет об опыте, приобретаемом Счетной палатой на пути реальной, а не «бумажной» цифровизации.

- Что такое «управление, основанное на данных» в контексте работы Счетной палаты?

Это означает ровно то, что в момент принятия решений сотрудник начинает опираться не на свою интуицию или опыт, а на ту аналитику, которую ему предоставляют различные методы анализа данных. Если мы берем классический контур управления, то в блок принятия решений должен быть встроен инструментарий, который эти решения помогает принимать — дает для этого необходимую информацию или предлагает варианты. Эксперт должен видеть все факторы риска или факторы возможностей, с тем чтобы более полно и объективно оценивать ситуацию на основе всей имеющейся информации.

Ровно этот подход мы пытаемся применять и у себя. Какого рода решения принимают наши инспекторы, руководители проверок, аудиторы? Традиционно это было выявление нарушений в фактах хозяйственной деятельности, классификация этих нарушений, определение последствий, возникающих по ним. Еще одно направление, активно развивающееся сейчас, — стратегический аудит. Это пока еще не устоявшаяся с методологической точки зрения работа, но понятно, что в ней очень много аналитики. В ее ходе на основании анализа совокупности объектов и их поведения требуется сделать системные выводы и дать рекомендации по изменению ситуации.

В первом случае мы сокращаем человеческий труд и увеличиваем объективность принятия решений — даем нашим сотрудникам инструментарий, который позволяет, например, анализировать только нетипичные операции, имеющие признаки рисков. Стратегический же аудит — задача более сложная и обширная, он полностью основан на применении тех или иных аналитических инструментов и требует большого количества усилий. Например, одна из стоящих перед нами задач — анализ достижения национальных целей, поставленных в указах президента РФ. Чтобы проводить такой анализ, надо понимать факторы, влияющие на достижение целей. Уже идет работа аналитиков по построению моделей, нацеленных на управление этими факторами. Это поможет принимать решения на уровне не отдельных объектов, а всего государства.

Источник: Счетная палата РФ

- Чтобы перейти от «интуитивного» управления к более обоснованным решениям, требуется органично вписать данные в процессы принятия решений. Эта проблема может оказаться не менее сложной, чем культурная. Какие подходы при этом надо использовать и как сделать, чтобы люди реально работали с использованием данных?

Проблема и в культуре, и в адекватном использовании аналитических инструментов. Это комплекс вопросов, индивидуальных для каждой организации. Здесь сложно дать универсальный рецепт.

С одной стороны, работа с данными должна быть встроена в процессы. Люди в какой-то момент должны переходить к анализу данных и принятию на его основе решений. Для этого, вероятно, сами процессы должны быть перепроектированы. С другой стороны, возможно, и проектировать процессы смысла нет, потому что они чрезвычайно быстро меняются или какую-то часть из них можно вообще убрать.

Однако все упирается именно в культуру работы с данными, в то, насколько цифровые инструменты могут быть использованы сотрудниками организации, насколько они готовы и восприимчивы. По своему опыту могу констатировать, что многие в государственных учреждениях к этому не готовы совершенно, изменение их подхода к работе — отдельная большая задача. Разумеется, предлагаемые аналитические инструменты не будут писать за людей отчеты, хотя у нас уже есть разработка, которая на основе формализованных источников данных может сформировать около 50% объема отчета о проверке. Человека полностью заменить пока не получится. А вот то, что он сможет в большой степени полагаться на подсказки, вполне возможно. Используя их, аудитор может строить работу по-другому, уделять гораздо больше внимания трактовке цифр и прогнозированию их изменения. В этом и состоит перестраивание культуры:  работа человека смещается от рутины в сторону большей интеллектуальности.

- Что первично — культура или инструменты? С какой стороны к этой проблеме приходится подходить на практике?

Это зависит от того, как организация пришла к необходимости трансформации. У нас все-таки изначально был импульс «по велению сверху», для нас это не было глубинной внутренней потребностью, поэтому работа с людьми важнее. С другой стороны, у нас процесс не насаждается «огнем и мечом», мы стараемся сделать плавные преобразования. В других организациях я вижу гораздо более жесткие методы.

Если же потребность в новых методах работы приходит изнутри, например исходя из конкурентной ситуации на рынке, и является вопросом выживания компании, подходы будут совсем другими.

- По вашему мнению, цифровизация напрямую связана с тем, что данные становятся реальным активом предприятия. А каковы симптомы этой «настоящей» цифровизации?

Если мы говорим о цифровизации как о качественном изменении, то в компании должны появиться принципиально новые возможности и продукты. Кроме того, происходит изменение метрик бизнеса. Скажем, окупаемость не может служить такой метрикой: у всех перед глазами пример Uber — до сих пор глубоко убыточной компании. Оценить новую бизнес-модель в числах возможно не всегда.

С точки зрения классической организации все может быть еще сложнее. Когда мы пытались определить, как собираемся измерять успехи своей цифровизации через несколько лет, были различные варианты — скажем, по измерению трудоемкости проверок. Например, число инспекторов, осуществляющих типовую проверку, может сократиться с десяти до пяти человек (совершенно условно). Да, двукратное сокращение команд инспекторов — это хорошо, но является ли оно цифровизацией с точки зрения принципиального скачка в процессах?

Если мы существенно повысим скорость и качество принятия решений при проверках, можно сказать, что цифровизация нам помогла. Но как измерить это качество? Пока мы этого не знаем, предстоит большая работа. Однако есть понимание того, что мы движемся в верном направлении.

Та же самая проблема в свое время была с автоматизацией, когда все компании, вложив большие деньги, кинулись измерять ее эффективность и поняли, что мгновенных эффектов нет. Именно после этого пришло осознание того, что эффект дает не само внедрение системы, а некий совокупный капитал, включающий в себя не только ИТ-платформу, но и новый регламент работы, а также обученных сотрудников, свободно владеющих системой. На то, чтобы система стала частью компании и начала эффективно использоваться, требуется несколько лет. С нынешними технологиями будет повторяться та же история: пока они не войдут органично в повседневную работу управленцев, от них ощутимой отдачи не будет.

- Вы упоминали о создании информационных систем, направленных на поддержку работы сотрудников. Это традиционные решения или речь идет об использовании искусственного интеллекта?

Мы создаем как традиционные системы поддержки процессов (управление поручениями, документооборотом, управление процессами проведения проверок, хранения документов), так и аналитические инструменты поддержки принятия решений. Например, система «Второе мнение» — прототип инструмента поддержки принятия решения о соответствии отчета акту проверки — реализована с использованием искусственного интеллекта.

- Насколько деятельность Счетной палаты может быть заменена функционированием единого робота, который станет строгим и неподкупным судьей для всех нарушителей?

На одной из стратегических сессий меня спросили, какой я вижу Счетную палату через несколько лет. В идеале она представляется мне серверной комнатой, куда стекаются данные, и некоторым числом аналитиков, настраивающих алгоритмы обработки данных и дающих рекомендации по принятию решений. Фактически объект проверки должен представать в виде цифрового двойника, данные по которому накапливаются и используются в дальнейшем. Для этого необходимо повысить объем доступных данных и их качество на входе — сейчас с этим возникают определенные проблемы. Кроме того, требуется переквалифицировать наш персонал, чтобы специалисты перешли от описательной работы и констатации фактов к аналитической работе в ее классическом понимании — выявлению закономерностей и выдаче рекомендаций по мерам воздействия.

Разумеется, это идеальная картина. И мне кажется, что она совершенно точно полностью недостижима на горизонте ближайших пяти или даже десяти лет. Но в будущем к ней надо стремиться.

- Какие сейчас существуют проблемы с данными и как вы их пытаетесь решать?

Больше всего проблем с качеством. Как показывает практика, у всех информационных систем есть человек, отвечающий за их работоспособность, но нет ответственного за качество данных в них. Никого не наказывают за несвоевременность внесения данных и их ошибочность. Как результат, информация в различных системах становится противоречивой и неполной. Поэтому всегда актуален вопрос, имеем ли мы право полагаться на такие данные в своей работе.

«Что делать?» — самый интересный вопрос. В коммерческих компаниях он решается существенно проще: на качество поступающих данных можно влиять, взаимодействуя с контрагентами и поставщиками данных. И это происходит. Показательным является повсеместный переход на электронный документооборот, включая финансовый и налоговый.

С государственными организациями сложнее — необходимо внедрить нормативную базу, которая закрепляет ответственность за данные, и разработать механизмы, обеспечивающих выполнение этих нормативов. Нельзя допустить, чтобы строгость законов компенсировалась необязательностью их исполнения.

- О чем вы хотели бы услышать на форуме «Управление данными — 2019»?

В первую очередь — практические кейсы. Сейчас область работы с данными стала очень спекулятивной темой. Из пяти поставщиков четыре преувеличивают свои успехи в этом направлении. На рынке высоко ценится реальный опыт как подрядчиков, так и заказчиков — критерии выбора продуктов и условия, в которых они внедрялись. Интересны кейсы всех компаний, которые сейчас работают этом направлении, в первую очередь с точки зрения возможности их применения у нас — как технологического, так и управленческого.