Data Science

Для любой компании данные представляют значительную ценность. Рисковать их утечкой, и тем более делиться ими готовы немногие. Однако часто встречаются ситуации, когда объединение данных разных компаний позволяет улучшить создаваемые математические модели. Справиться с проблемой позволяет платформа конфиденциального совместного машинного обучения, реализованная компанией oneFactor. Платформа дает возможность безопасно провести обучение и исполнение моделей на данных нескольких поставщиков, сохранив данные владельцев в неприкосновенности. О реализации этого проекта рассказывает Виктор Стрелков, директор по разработке oneFactor и номинант на премию Data Award.

— В чем суть платформы конфиденциального совместного машинного обучения?

Эта платформа позволяет провести обучение на данных любого количества поставщиков без раскрытия этих данных. Мы предоставляем платформу, которая включает в себя набор инструментов, типовых для дата-сайентиста, и даем возможность подключить к ней произвольное количество поставщиков данных. При этом поставщиком данных может быть тот же самый клиент, который хочет обучиться на совместных данных: наших, своих и данных третьего лица. Данные при этом не раскрываются. Фактически они представляют собой набор хэшей — совершенно нечитаемую информацию для дата-сайентиста. Он сможет обучить модель и исполнить ее на этой же платформе, но при этом у него нет возможности ни сделать какие-либо выводы о данных, ни получить какие-то инсайты, не говоря уже о скачивании и сохранении.

— Почему это важно?

С одной стороны, повсеместно растет спрос на защиту данных — как частных, так и корпоративных. Каждый обладатель данных все яснее понимает, что информация — это большая ценность, которую демонстрировать в раскрытом виде не следует. С другой стороны, наблюдаются попытки использовать машинное обучение в процессах всех отраслей. Объединение данных из различных источников (и это доказано нашим исследованием) сильно повышает качество машинного обучения. Мы объединяем два этих тренда в своем решении.

— Как родилась идея платформы конфиденциального совместного машинного обучения?

Как это часто бывает в таких случаях, изначально это решение мы создавали для себя. Около пяти лет назад мы делали финансовый скоринг для сервисов финтеха. Сначала только на собственных данных, которые не надо было никому показывать: так было проще. Но аппетиты растут, все хотят повышать точность своих моделей: это напрямую отражается на затратах финансовых организаций, на количестве резервов, на размере прибыли и т. д. То есть точность используемых моделей напрямую влияет на эффективность бизнеса. Мы постоянно проводим исследования в части улучшения моделей и нашли поставщика данных, нового для нас, — это один из провайдеров финансовых услуг. Работы с данными провайдера проводили в закрытой переговорной на ноутбуке с запаянными USB-портами, под наблюдением камер, без допуска в туалет — высший уровень физической изоляции. После обучения модели на объединенных данных получили существенный прирост точности — до 10–15%, это очень много.

Но как запустить полноценное решение? И мы создали внутреннюю платформу, в которую партнер загружал данные в зашифрованном виде. На этих данных удалось обучить и запустить в эксплуатацию модель, дающую большой прирост точности скоринга. Накопив опыт внутреннего использования в 2020–2021 годах, мы признали, что это отличное решение, достойное вывода на внешний рынок. Такие запросы уже были: приобретая у нас скоринг, банки интересовались, можно ли для улучшения модели добавить собственные данные. В третьем квартале 2021 года мы создали MVP платформы с интерфейсами, возможностью подключения новых поставщиков, шифрованием данных и т. д. И сейчас мы готовы предложить ее рынку.

— Что технически представляет собой созданное решение?

Краеугольный камень защищенных вычислений — это технология Intel Software Guard Extensions, которая позволяет защитить область памяти от любого несанкционированного доступа, в том числе с привилегиями администратора. Даже получив физический доступ к серверу, нельзя получить доступ к данным. Было важно защититься от трех сценариев атаки: чтобы данные не мог получить ни администратор сервера, ни аналитик, который обучает модели, ни поставщик данных. Технология SGX закрывает все три вероятных сценария компрометации данных.

— Откуда берутся кросс-индустриальные данные, с которыми ведется конфиденциальная работа?

Кросс-индустриальные данные состоят из трех больших блоков. На предлагаемой нами платформе уже есть наши данные и данные провайдера финансовых услуг. Третья составляющая — это данные самого клиента.

Рассмотрим, например, лидогенерацию на платную подписку. Есть гипотеза, что платную подписку больше покупают люди, в окружении которых кто-то ее уже купил. У компаний, занимающихся электронной коммерцией, есть данные о купивших подписку, но у них нет данных о связях этих людей. А в других индустриях эти связи есть, но информацию о них ни в коем случае нельзя раскрывать. С согласия конечных пользователей клиент может загрузить свои данные, не раскрывая их, и путем объединения с этими данными на нашей платформе получить результат: с какой вероятностью новый человек купит платную подписку.

— Кто является целевой аудиторией вашего решения?

Пользователи платформы — дата-сайентисты, а клиенты — это крупные компании и иногда представители малого и среднего бизнеса. Это организации, которые уже разработали модели машинного обучения на собственных транзакционных данных и провели цикл оптимизации бизнеса с использованием Data Science и машинного обучения, а теперь хотят повысить эффективность процессов со встроенными в них моделями машинного обучения. Мы предоставляем этим компаниям новые для них данные, c помощью которых можно качественно улучшить точность моделей, и даем возможность проводить эксперименты.

— Каких результатов удалось достичь?

В первую очередь это наш проект «совместного скоринга»: мы с партнерами делаем новый продукт и продаем его. С одним из клиентов выходим на промышленную эксплуатацию. И в разной степени внедрения находятся проекты в нескольких крупных банках, два-три из них планируется запустить в эксплуатацию в этом году.

— Насколько сильный прирост качества моделей дает совместное машинное обучение?

Показательный пример: удалось увеличить точность модели банковского и рискового скоринга до 15%. Очень значимый результат, потому что это примерно три пункта коэффициента Джини. Повышение этого коэффициента хотя бы на один пункт — уже веский повод для внедрения системы. А когда речь идет о росте на три пункта Джини, заказчик часто готов даже на сложные и затратные проекты.

— Способно ли ваше решение повлиять на будущее рынка платформ машинного обучения?

Да, мы рассчитываем убрать барьер дата-паранойи и дать машинному обучению развиваться. Организации должны повышать эффективность без боязни раскрыть или потерять свои данные. Есть и другие компании, которые идут в схожем направлении, но используют другие подходы.

— Какие вы видите перспективы для развития платформы?

Суперрезультатом стало бы объединение всех решаемых нами задач (машинного обучения, Auto ML, подсистем лидогенерации и т. д.) на одной платформе — создание подобия «Единого окна маркетинговых коммуникаций».

Сценарий из недалекого будущего: к платформе подключается дата-сайентист, выбирает для себя любые источники данных, обучает модель, подключает каналы коммуникации, при необходимости проводит A/B-тест, видит эффективность модели, получает достаточную конверсию, ставит Auto ML. Далее каждый день эта модель переобучается и выполняет рассылку лидов. Мы приближаемся к этому будущему с двух сторон: с одной стороны развиваем платформу конфиденциальных данных, а с другой — систему лидогенерации и каналы коммуникации. Важно объединить их в единое решение, которое даст новые возможности для омниканальных маркетинговых коммуникаций.

Многие, особенно далекие от ИТ люди, воспринимают машинное обучение как нечто очень сложное, непонятное и не имеющее отношения к каждодневной жизни. Мы, как профессионалы, видим, с какой скоростью развиваются ML-решения, как быстро они проникают во все стороны нашей жизни и помогают получать именно ту информацию и те услуги, которые нам нужны. Мы гордимся, когда технологически передовые продукты делают наши инженеры — это гарантирует развитие отечественной ИТ-индустрии. Конечно, нахождение на переднем крае технологий в настоящее время ставит перед инженерными командами дополнительные требования, связанные с безопасностью. Но это делает создание продуктов для бизнеса еще более интересным для разработчиков, а сами продукты — востребованными рынком.

С развитием бизнеса S7 Group видит потребность в руководителях продуктов и проектов в области продвинутой аналитики. Компания решила самостоятельно подготовить профильных специалистов и открыла первую в России кафедру по их подготовке на базе МФТИ. О том, как стартовала новая учебная программа и как она развивается сегодня, рассказывает Никита Матвеев, заместитель генерального директора по управлению данными S7 Group и номинант на премию CDO Award 2021.

— Как появилась идея запустить совместно с вузом подобную учебную программу?

Авиационная отрасль характеризуется крайне высокой конкурентностью и низкой маржинальностью. Для того чтобы преуспеть, компаниям важно внедрять наиболее передовые технологии. Одна из них — это продвинутая аналитика, включающая имитационное моделирование, машинное обучение, нейронные сети и т. д. Четыре года назад мы в S7 Group начали пилотировать системы продвинутой аналитики, получили хорошие результаты и решили развивать их по всем направлениям деятельности компании. Однако столкнулись с дефицитом специалистов, которые могут находить наиболее перспективные задачи и создавать продукты в этой области. На рынке их почти нет, а обучение занимает много времени.

Для этих задач требуются люди, которые, во-первых, владеют навыками проектного и продуктового управления, во-вторых, обладают базовыми знаниями в ИТ и управлении данными и, в-третьих, имеют хорошее математическое образование. Таких профессионалов настолько мало, что они сразу становятся звездами. При этом до последнего времени программ подготовки специалистов такого профиля в России не было. Обнаружив это, мы сами запустили обучение по управлению продуктами Data Science. Базой для нашей кафедры стал МФТИ.

Структуру магистерской программы удалось сформировать буквально за два месяца, затем мы начали ее прорабатывать, привлекать преподавателей. Я курировал весь процесс, создавал концепцию программы и организовывал часть, связанную с практической научной работой в S7.

— Какие задачи призвана решить созданная программа, что она собой представляет?

Магистерская программа рассчитана на два года и состоит из трех крупных блоков: стандартные курсы; научная работа (включая разработку моделей Data Science для задач S7); стажировка в компании в условиях работы с реальными аналитическими продуктами (чтобы учащиеся сразу погружались в дело, изучали устройство внутренних процессов и порядок выполнения различных задач).

Учебная часть как таковая сфокусирована на получении технических, ИТ- и бизнес-навыков. Мы хотим вырастить условных T-shaped people — то есть профессионалов в области работы с данными, управления проектами и разработки новых решений.

Наши студенты проходят два курса по Data Science (включая основы управления данными, базовые методы выявления закономерностей, задачи машинного обучения и оптимизации). В части ИТ они изучают системную аналитику, бизнес-аналитику, разработку ИТ-систем с нуля, построение отчетов в BI-инструментах. Также есть большой блок по архитектуре систем — практика показывает, что эти знания и инструменты часто необходимы владельцам аналитических продуктов в крупных компаниях для внедрения своих разработок. В части бизнес-задач речь идет о том, чтобы научиться выявлять точки роста компании. Этот блок строится на основе кейс-метода, который широко используется в международных программах MBA, а также в компаниях стратегического консалтинга (McKinsey, BCG). В дополнение изучается архитектура предприятия — то, как компания функционирует с научной точки зрения.

В результате выпускник программы — это продуктолог, который умеет анализировать процессы в рамках определенного функционального бизнес-блока и выявлять его потребности в области задач с данными. Он формирует гипотезы — как достигать поставленной цели с помощью аналитических инструментов, реализует прототип для проверки гипотезы и, в случае успеха, внедряет систему в эксплуатацию. Например, цель авиаперевозчика — снизить потребление топлива, для чего можно уменьшить вес самолета или перестроить траекторию взлета. От такой верхнеуровневой идеи нужно перейти к проверке гипотезы — выяснить, доступны ли исторические данные для построения модели и возможно ли в принципе так поменять процессы в компании, чтобы ее внедрить. По итогам этой работы создается прототип, который проверяет гипотезу. Затем проводятся испытания полнофункционального продукта и выполняется его внедрение в промышленную эксплуатацию. Здесь как раз и нужны сильные навыки проектного и продуктового управления.

— Программа больше ориентирована на закрытие потребностей компании или на развитие рынка специалистов по данным в целом?

Безусловно, запуск такой магистерской программы — это наша инвестиция в рынок в целом. В то же время это и возможность вырастить специалистов, которые смогут предлагать и проверять перспективные для компании идеи, участвовать в экспериментах и выполнять проекты для задач бизнеса.

— Какие барьеры пришлось преодолеть для реализации программы?

Основным барьером было то, что это новая специальность, при этом не совсем техническая. Наша кафедра в МФТИ в значительной степени менеджерская, и информацию о ней нужно было в деталях донести до студентов. Для этого мы организовали ряд мероприятий. В начале мы подробно рассказали о профессии владельца аналитического продукта, подчеркнули ее плюсы и востребованность на рынке. Потом провели встречи с сотрудниками S7 – владельцами аналитических продуктов. Они увлекли и вдохновили людей необычными и масштабными задачами, а также ответили на все вопросы по функционалу. И в конце студентов, проявивших наибольшую заинтересованность в программе, мы вывезли в тренинг-центр, где готовят бортпроводников и пилотов S7 Airlines. В итоге заявки на обучение подали 100 студентов (примерно половина — не из МФТИ) при наличии всего 10 мест.

— Кто стал преподавателями?

Поскольку программа охватывает очень большой набор тем, нам было важно, чтобы преподаватели могли сконцентрировать обучение на ключевых вещах. Поэтому каждый из наших преподавателей – специалист высокого уровня с опытом работы более 10 лет. Треть из них – сотрудники S7, еще треть – преподаватели МФТИ и, наконец, еще треть – сотрудники других компаний.

— Какова мотивация учащихся, приходящих на эту программу? Как они на нее попадают?

Главное, что мотивировало студентов поступать на нашу программу – это специализация и работа над задачами в сфере авиации. Специализация сильно заинтересовала студентов, так как она позволяет не только проводить аналитику и разрабатывать новый функционал, но и определять путь развития своего продукта. Что касается задач, то аналитические задачи в авиации, пока не так широко распространены и изучены, как, например, в банковской или страховой отраслях. Кроме того, они привлекают многих своей масштабностью и влиянием на результаты. Например, модели наших аналитиков используются при планировании ремонтов двигателей и определении цен на билеты.

Отбор на программу состоял из двух этапов. На первом проверялись технические знания – нужно было решить задачи по программированию и Data Science. Разработка задач и организация тестирования стали отдельным крупным проектом. Мы решили провести экзамен в формате соревнования по аналогии с Kaggle на платформе «Яндекс.Контест». На решение каждой задачи отводилось по два часа. Решения проверялись автоматически в режиме реального времени. По каждому решению студент получал оценку – либо точность модели кластеризации, либо скорость работы программы. Количество подач решений было почти неограниченным. За счет этого в течение экзамена была возможность протестировать различные подходы и найти лучший. Это позволило сделать экзамен динамичным и практически исключить трудозатраты сотрудников на проверку решения.

Затем проводились собеседования — мы предлагали студентам выбрать три аналитических продукта, которыми им бы хотелось заниматься. Например, предиктивное техническое обслуживание самолетов, рекомендательная система для пассажиров и система ценообразования. Далее студенты встречались с владельцами этих продуктов и специалистами по Data Science и обсуждали, какая из задач студента интересует больше и насколько они подходят для их решения. Таким образом оценивались компетенции и мотивация.

Кроме того, мы задавали самим студентам вопрос о мотивации, и многие отмечали, что хотели бы видеть бизнес-смысл своей работы, влиять на управление решаемыми задачами. Наконец, примерно для трети учащихся главным фактором оказалась отраслевая привязка — то есть работа с необычными задачами авиакомпании.

— Насколько значимой может стать ваша программа для российского рынка в целом, в том числе с точки зрения примера для остальных?

Мы знаем, что специалисты, которые проходят обучение по нашей программе, востребованы сегодня в самых разных компаниях — транспортных, логистических, финансовых и пр. Большинство выпускников сможет принять сама S7 Group. У нас запускается по 5–7 аналитических продуктов ежегодно, и лучшим студентам найдется работа.

В свою очередь, студенты, уже прошедшие обучение, дают очень хорошую обратную связь: средняя оценка — 8 из 10. Для дальнейшего продвижения программы среди студентов планируем запустить проморолик, организовать встречи с текущими студентами и даже пригласить на внутренние демо аналитических продуктов, где показываются результаты работы команды.

— Как планируется развивать программу в будущем?

Будем подбирать интересные задачи для студентов исходя из актуальных потребностей компании. В частности, на ближайший год в фокус внимания попадают обработка сбоев, повышение эффективности потребления топлива, а также отработка более узких моделей предиктивного ремонта (например, модели предсказания поломок шасси в зависимости от внешних условий). Такими задачами студенты будут заниматься в ходе практической работы.

В целом планируем повышать качество материалов, разрабатывать различные методические пособия по курсам, подбирать интересные домашние задания, которые коррелировали бы с реальными бизнес-задачами. В идеале хотим, чтобы курсовая работа стала реальным проектом в компании.

Любая страховая компания заинтересована в том, чтобы ее клиенты покупали продукты самого широкого спектра. Но стоит ли страховому агенту тратить время на уговоры, если владелец полиса ОСАГО убежден в том, что КАСКО ему не нужен? При том, что другому клиенту, возможно, есть смысл предложить не только КАСКО, но и страховку квартиры и дачи. Как страховщикам угадать наши с вами предпочтения?

В компании «РЕСО-Гарантия» предпочли не угадывать, а построить математическую модель, которая позволит выявить клиентов с высоким уровнем спроса на продукты добровольного страхования среди владельцев полиса ОСАГО. Это поможет сделать кросс-продажи в агентской сети более эффективными.

Сергей Алешкин, руководитель по Data Science страховой компании «РЕСО-Гарантия» и номинант премии CDO Award, делится деталями проекта.

— Есть ли в компании стратегия работы с данными?

Мы только начинаем цифровизацию, и в ее рамках идет подготовка регламентов работы с данными. Сейчас взаимодействие организовано неформально, но все знают, кто за что отвечает и какие задачи должен решать. У нас есть ИТ-подразделение, которое обеспечивает стабильность работы систем обработки данных, есть специалисты, отвечающие за наполнение этих систем и за качество данных, и есть аналитики, которые работают с данными, в том числе строят математические модели.

— Что входит в зону вашей ответственности?

Я отвечаю за построение моделей, их внедрение в бизнес-процессы, поддержание их эффективности, мониторинг, переобучение при необходимости. Мне приходится тесно общаться с коллегами, обеспечивающими хранение и качество данных. Мою деятельность курирует заместитель генерального директора, отвечающий в компании за ИТ и аналитику.

— Каким образом вы выявляете задачи для применения машинного обучения?

«РЕСО-Гарантия» — коммерческая организация, поэтому во главу угла при выборе проекта ставится получение максимального бизнес-эффекта. На решение той или иной задачи может быть получен запрос от бизнеса, или же мы сами в процессе анализа данных можем обнаружить интересную зависимость и предложить бизнесу реализовать модель на ее основе. Но всегда запуску проекта предшествует анализ его окупаемости. Мы люди творческие, нам интересно экспериментировать с данными, но, приоритизируя проекты, мы исходим из того, что получит компания от внедрения конкретной модели.

— Как возникла идея проекта в области кросс-продаж?

Наиболее массовый продукт на рынке страхования — полис обязательного автострахования ОСАГО. Например, среди клиентов РЕСО порядка 15 млн человек покупают такие полисы. Но страховой компании нужно продавать и продукты добровольного страхования — полисы КАСКО, страхования имущества и др. Поэтому была поставлена задача увеличить кросс-продажи клиентам ОСАГО. Однако далеко не все они расположены покупать другие полисы.

Мы стали работать над выявлением кластеров клиентов с потенциально наибольшим спросом на продукты добровольного страхования. Значительная часть продаж компании идет через агентскую сеть. В процессе общения страховой агент может пропустить того самого покупателя, которому стоит предложить полис добровольного страхования, или сделать предложение формально и в результате упустить потенциального клиента.

Мы задумались над тем, чтобы создать модель, которая выявляла бы не просто клиентов ОСАГО с высоким спросом на продукты добровольного страхования, а именно тех из них, кто, скорее всего, еще не получал предложения от конкретного агента. То есть модель может сделать «работу над ошибками». Среди агентов есть новички, которые еще не научились всем тонкостям общения. Но и опытные агенты с большими портфелями тоже нуждаются в помощи, потому что им физически сложно уделить должное внимание всем своим клиентам. В зависимости от характеристик агента модель определяет, каких клиентов с высоким спросом на продукты добровольного страхования он мог пропустить, и передает ему полученную информацию. Анализируются около десятка параметров по каждому агенту: социально-демографические признаки (возраст, пол и т. д.), опыт и предпочтения по продажам страховых продуктов (срок работы в компании, история продаж по типам продуктов и т. д.).

В результате увеличиваются продажи, растут доходы агентов и их лояльность компании, а также доходы компании и лояльность клиентов, потому что они получают качественный страховой продукт, действительно необходимый в данный момент. Проект приносит выгоду всем сторонам.

— Тот самый случай, когда искусственный интеллект помогает сотрудникам, но не заменяет их?

Совершенно верно. Страховая компания работает через агентскую сеть, и наши клиенты, будучи лояльны бренду РЕСО, в значительной степени лояльны страховому агенту — конкретному человеку, с которым они взаимодействуют на протяжении долгого времени и которому доверяют. Поэтому задача заменить агента здесь не стоит — ему надо оказать эффективную помощь в поиске тех клиентов, которые купят продукты добровольного страхования.

Агенты, среди которых много людей в возрасте, отлично знают страховые продукты и умеют с ними работать, но при этом с недоверием относятся к ИТ. Поэтому поначалу проект был воспринят ими скептически, но, по мере работы, они оценили результативность такого подхода и попросили расширить возможности модели. Мы начинали с выявления потенциальных клиентов страхования имущества, затем добавили КАСКО.

— Как строится взаимодействие агентов с системой? Не возникают ли проблемы у не очень восприимчивых к ИТ сотрудников?

Вначале мы реализовали подсказку в момент продажи полиса о том, что данный клиент склонен к покупке определенного дополнительного продукта. Но потом поняли, что большинство агентов хотели бы заранее получать списки таких клиентов, чтобы спланировать свой визит или разговор с клиентом по телефону. Теперь мы готовим эти списки и передаем их агентам через руководителей агентской сети.

Агенты получают рекомендации искусственного интеллекта в CRM-модуле. Опытный специалист работает на страховом рынке несколько десятков лет, знает лично многих своих клиентов, и для него непривычен формат работы, когда ему рекомендуют, к кому обратиться в первую очередь. Для того чтобы пользоваться такой системой, агент должен убедиться на практике в том, что рекомендации действительно эффективны.

В адаптации агентов к работе с новым проектом очень помог опыт Школы РЕСО. У нашей компании одна из сильнейших агентских школ России, и мы задействовали ее потенциал. Все агенты проходят обучение кросс-продажам с помощью современных технологий.

Один из важных компонентов любого внедрения машинного обучения — постоянный мониторинг метрик модели. Если возникает существенное отклонение в качестве, модель необходимо переобучать. Помимо прочего, этот мониторинг позволил нам выявлять агентов, испытывающих трудности в работе с новой схемой взаимодействия с клиентами, и для них было организовано дополнительное обучение.

— На каких данных реализован проект? Какая технологическая инфраструктура используется?

Это полностью наша разработка. Данные собираются в базе данных Oracle, модель разрабатывается с использованием Python. Из методов машинного обучения используется ансамбль моделей, построенных с помощью логистической регрессии и XGboost.

Модель обучалась на данных около 5 млн клиентов. Учитывались социально-демографические данные, характеристики потребительских предпочтений (что страхуют, когда, как часто) и др. Использовалась вся клиентская информация, до которой может «дотянуться» страховая компания. Конечно, у нас меньше сведений, чем, скажем, у банка или телекома, но их было достаточно для того, чтобы обеспечить хорошую точность модели для кросс-продаж.

Сейчас модель еженедельно анализирует порядка миллиона клиентов.

— Какие проблемы возникли в ходе реализации проекта, как удалось с ними справиться?

Нельзя сказать, что мы построили сложную модель. Пожалуй, самое трудное и интересное связано с внедрением. Надо было убедить нашу агентскую сеть в том, что это действительно полезный инструмент, и настроить обратную связь от конечных пользователей. РЕСО регулярно проводит большие встречи руководителей агентских подразделений, съезды агентов. На всех этих мероприятиях мы презентовали модель, лично общались с агентами и их руководителями, рассказывали им о преимуществах системы, отвечали на вопросы. В ходе этого общения мы узнали о ряде важных показателей работы агентов. Их анализ позволил вывести интересные зависимости, в том числе увеличить точность модели.

— Насколько уникален такой сервис для страховой отрасли?

Уникальность нашего подхода — не в модели, а в процессе взаимодействия агентов с моделью. Строить модели, которые ищут клиентов с высоким спросом на те или иные продукты для кросс-продаж, пытаются большинство страховых компаний, но обычно ставка делается на роботизацию процесса. Наш проект отличает высокая степень вовлеченности людей — агентов и их руководителей. Не менее важна и постоянная обратная связь, которая позволяет, с одной стороны, совершенствовать модель, а с другой — делать более эффективной работу сотрудников.

— Как долго система находится в продуктиве? Каких финансовых преимуществ и качественных улучшений удалось добиться за это время?

Система активно применяется с середины 2019 года в 200 филиалах в 70 регионах России, ею пользуются около 3,5 тыс. страховых агентов.

По нашим данным, за это время в 10 раз выросла эффективность кросс-продаж благодаря снижению трудозатрат агентов и повышению результативности их работы. Декабрь и январь показали существенный рост продаж продуктов добровольного страхования. По прогнозам на 2020 год, 18% дополнительных сборов по страховым продуктам, к которым применяется модель, будут получены именно благодаря ее использованию.

Мы построили комплексное решение на базе машинного обучения, которое, с одной стороны, хорошо интегрируется в существующую технологию продаж, а с другой — создает новую ценность для компании с точки зрения расширения возможностей кросс-продаж и повышения эффективности агентской сети.

— Каковы планы по развитию системы?

Мы получаем очень много заявок на расширение перечня страховых продуктов, охваченных моделью, и планируем развивать аналогичные проекты для кросс-продаж по другим направлениям работы компании.

Сейчас также разрабатывается проект на базе машинного обучения для Школы РЕСО. Очень важно оценить потенциал человека в роли страхового агента на этапе рекрутинга, чтобы можно было сосредоточить усилия на обучении наиболее талантливых сотрудников, удерживать их у себя и развивать. Мы делаем модель, которая будет искать таких кандидатов, а также выявлять их среди претендентов, которые к нам уже обратились.

Деятельность и потребности исследователей данных имеют много общего с деятельностью и потребностями разработчиков программного обеспечения. И исследователи данных, и инженеры-программисты связаны с планированием, проектированием архитектуры, написанием программного кода, тестированием и развертыванием программного обеспечения для достижения своих целей. Для разработчиков программного обеспечения это зачастую выливается в написание специального кода для приложений и микросервисов. Исследователи же данных интегрируют данные с помощью проводимых над ними операций, выдавая прогнозы при помощи аналитических моделей и создавая панели мониторинга, помогающие конечным пользователям отслеживать нужные им результаты.

DevOps-профессионалам, рассматривающим возможность автоматизации и сотрудничества с операционными инженерами, необходимо расширять спектр своих возможностей и предоставлять исследователям данных необходимые им услуги в рамках существующих договоренностей.

Крупные организации с многочисленными командами исследователей инвестируют в платформы исследования данных (Alteryx Analytics, Databricks и Dataiku), представляющие собой набор инструментов для разработки, тестирования и развертывания аналитических моделей. Эти инструменты конкурируют друг с другом с точки зрения операций с данными, аналитических возможностей, средств интеграции, управления, инструментов для бизнес-пользователей и функций развертывания.

Отличия потребностей в DevOps у исследователей данных и разработчиков приложений

В инструменты науки о данных готова инвестировать не каждая организация. Некоторые команды исследователей данных настолько малочисленны, что нуждаются лишь в базовых операционных средствах. В таких случаях лучше ограничиться практиками DevOps, не тратя сил и ресурсов на выбор и настройку платформы.

Многие методики гибкого проектирования и DevOps, используемые командами разработчиков программного обеспечения, могут найти приложение и к процессам, с которыми имеют дело исследователи данных. Но для этого потребуется внесение существенных корректировок. Хотя процессы исследователей данных и похожи на процессы разработчиков, между ними имеются некоторые важные отличия.

Работа в области науки о данных требует проведения дополнительных экспериментов с наборами данных, моделями и конфигурациями. Циклом планирования, сборки, тестирования и развертывания, характерным для разработки программного обеспечения, дело здесь, как правило, не ограничивается.

В моделях разработки и тестирования единый вычислительный стек может и не использоваться. Некоторые модели создаются простыми скриптами Python, тогда как в других используются Apache Spark и другие крупные платформы управления данными. Характер вычислений существенно отличается даже в ходе разработки моделей. Исследователю данных, желающему протестировать на крупном наборе данных шесть вариантов модели, придется выполнить гораздо больше вычислительных операций и операций хранения по сравнению с исследователем, тестирующим только одну модель на небольшом наборе данных.

Модели, развернутые в производственной среде, требуют непрерывной поддержки, причем помимо изменения базового кода здесь возникают и другие вопросы. Необходимо сохранять обновленные наборы данных, изменять конфигурацию операционных параметров и адаптировать инфраструктуру. Все это может потребовать нового развертывания.

При мониторинге данных зачастую нужны более сложные проверки. Одного лишь знания того, что процесс обработки данных выполняется, а модель обрабатывает данные здесь недостаточно. Инструменты, используемые в производственной среде, необходимо контролировать, проверяя их пропускную способность, причины возникновения ошибок, аномалии источника данных и другие условия, оказывающие влияние на общие результаты.

Чтобы добиться успеха, исследователи данных должны сотрудничать с разработчиками, инженерами и руководителями бизнес-подразделений, а это может оказаться более сложной задачей по сравнению с налаживанием взаимодействия с разработчиками и операционными подразделениями в процессе разработки приложений. Кроме того, многие исследователи данных не входят в состав ИТ-службы, что еще более затрудняет внедрение единых стандартов и управление этими группами.

Поддержка исследователей данных требует понимания имеющихся отличий. Только после этого можно переходить к внедрению практик DevOps. Начать же следует вот с чего.

Формирование у исследователей данных необходимого опыта

Как и разработчики приложений, исследователи данных нацелены прежде всего на решение конкретных задач. Они увлечены настройкой своих инструментов и зачастую проявляют меньший интерес к настройке инфраструктуры. Но в отличие от разработчиков программного обеспечения исследователи данных не обладают опытом и подготовкой, которые позволяли бы им полностью настроить среду разработки. В результате для внедряющих практики DevOps они выступают в роли клиентов, которым нужно помогать в процессе определения требований и подготовки решений.

Начать имеет смысл с инфраструктуры для исследователей данных. На каких языках они пишут программный код: на Python, R или чем-то еще? Какие инструменты (Jupyter, Tableau, Apache Kafka или NLTK) используются для анализа и моделирования? Какие базы данных и облака выступают в роли источников данных и служат для хранения данных, используемых в обучении, и для развертывания моделей?

DevOps-консультант может помочь в выборе и стандартизации среды разработки. Традиционно соответствующие задачи решаются на вычислительном устройстве или виртуальном рабочем столе. В любом случае зеркальное отображение приложений и конфигураций в среде разработки представляет собой важный первый шаг в работе исследователя данных.

После этого DevOps-консультант должен проверить, где исследователи данных хранят свой программный код, как осуществляется контроль версий, каким образом код упаковывается для развертывания. Некоторые исследователи данных не имеют опыта работы с инструментами контроля версий, такими как Git; другие, возможно, и используют репозитарий кода, однако процесс интеграции у них не автоматизирован. Второй задачей, с которой профессионалы DevOps должны помочь исследователям данных, является проведение непрерывной интеграции. Необходимо сформировать соответствующие стандарты и исключить операции, выполняемые вручную при тестировании новых алгоритмов.

Следует учитывать, что в некоторых сервисах SaaS и платформах корпоративных данных нет встроенной системы контроля версий и отсутствуют интерфейсы со средствами управления версиями, применяемыми при написании программного кода. У многих из этих платформ имеются API для проведения интеграции и развертывания или какие-то другие средства, позволяющие имитировать процесс непрерывной интеграции и развертывания (CI/CD).

Формирование конвейеров развертывания и настройка инфраструктуры

При стандартизации среды развертывания и непрерывной интеграции DevOps-консультантам следует обратить внимание и на другие аспекты тестирования автоматизации и построения производственных сред. Это можно сделать путем внедрения конвейеров развертывания с инструментами наподобие Jenkins и настройки инфраструктуры с использованием Chef, Puppet, Ansible или каких-то других инструментов.

Контейнеры Docker, средства управления контейнерами и инструменты настройки наподобие Kubernetes также находят достаточно широкое применение при решении задач науки о данных. Среды науки о данных зачастую представляют собой сочетание платформ для операций с данными, управления ими и их моделирования. Развертывание и управление данными при этом требует интеграции.

Важно понимать масштабы и частоту выполнения операций интеграции данных, машинного обучения и анализа данных. DevOps-консультанты, вероятно, займутся поиском соответствующих шаблонов, поскольку исследователи данных имеют дело с разной рабочей нагрузкой: регулярным тестированием новых моделей на различных подмножествах данных, спланированным переобучением производственных моделей машинного обучения, выполнением специализированных заданий по обучению новых аналитических моделей. Эти типы рабочей нагрузки должны помочь при внедрении практик DevOps решить, насколько хорошо настройка и масштабирование облачной инфраструктуры отвечают различным потребностям в вычислительных ресурсах и ресурсах хранения.

Союз разработчиков, ИТ-администраторов и исследователей данных

Наиболее важные аспекты внедрения DevOps связаны с налаживанием сотрудничества между разработчиками и инженерами, цели которых не совпадают. От разработчиков требуют частого внесения изменений в приложения, в то время как инженеры отвечают за надежность и скорость выполнения производственных процессов. Взаимодействие разработчиков и инженеров в ходе автоматизации и стандартизации конфигураций способствует достижению обеих целей.

Исследователи данных становятся третьей стороной в этом сотрудничестве. От них требуют проведения анализа в интересах высшего руководства и бизнес-менеджеров. Кроме того, они разрабатывают модели, используемые разработчиками в приложениях. Исследователям данных нужна инфраструктура с часто меняющимися параметрами, и они даже в большей степени по сравнению с разработчиками заинтересованы в проведении экспериментов с новыми платформами, библиотеками и конфигурациями инфраструктуры.

Сотрудничество с разработчиками и инженерами помогает исследователям данных при проведении анализа. Для успешного взаимодействия и достижения новых бизнес-результатов этим группам необходимо четкое понимание стоящих перед ними задач, определение целей и совместное выстраивание DevOps.

Если данные действительно являются одним из самых крупных активов предприятий, ИТ-директора должны иметь возможность продемонстрировать, как этот актив можно направить на развитие бизнеса.

Или сделать работу сотрудников более продуктивной.

Или улучшить качество обслуживания клиентов.

Какова бы ни была конечная цель, «умные» компании работают над целостными стратегиями, стремясь сломать барьеры между разрозненными складами данных и научиться извлекать новые идеи из них, заявили эксперты на симпозиуме MIT Sloan CIO Symposium.

«Мы плаваем в данных, и мы знаем, что нужно зарабатывать на этом деньги – но не так, как раньше, – заявила Барбара Хейли Уиксом, главный научный сотрудник Центра исследований информационных систем MIT Sloan. – Прежние подходы уже не работают, сегодня наши цифровые стратегии требуют смелых шагов, действительно новых идей».

Эксперты сходятся во мнении, что не существует универсального подхода к стратегии работы с данными; любая такая инициатива должна быть адаптирована к конкретной компании и отрасли, в которой она работает.

Вместе с тем, есть несколько общих основообразующих элементов, без которых пересмотр стратегии в области работы с данными не будет успешным.

Создайте культуру данных

Елена Альфаро, руководитель отдела данных и открытых инноваций отдела клиентских решений испанского банка BBVA, рассказала об опыте своей организации по «распространению культуры данных» и обеспечению того, чтобы высшее руководство организации было в курсе инициатив в области данных.

«Я поняла, – сказала Альфаро, – что если человек рядом с тобой не понимает тебя, то очень трудно достичь чего-то действительно значимого».

И, по ее словам, BBVA действительно удалось многого достичь. Последние два года в Forrester признавали мобильное приложение компании лучшим в банковском бизнесе.

Орели Л’Ости, аналитик Forrester, похвалила приложение банка за «поразительный баланс между полезным функционалом и отличным клиентским опытом». Данный продукт, по словам Альфаро, вырос из стратегии данных с прицелом на потребности конечного пользователя.

«Цифровые банки слушают своих клиентов, умно работают с данными и упорно трудятся над тем, чтобы клиентам было легко управлять своей финансовой жизнью, – пишет Л’Ости. – Ничего особенно героического здесь нет, но именно это требуется вашим клиентам».

Сформируйте среду

Уиксом утверждает, что, независимо от отрасли, компании с успешной стратегией работы с данными формируют среды, которые обеспечивают высокий уровень целостности данных и гарантируют их максимально широкую доступность.

«У таких компаний есть данные, которые люди могут найти и использовать, доверять им, – сказала Уиксом. – У них есть платформы для работы с данными, которые делают работу надежной и очень быстрой, как внутри, так и за пределами организации».

Она также отметила важность баланса между высокотехнологичными системами для добычи данных, их нацеленностью на обслуживание реальных задач бизнеса и установкой ограничений на использование данных.

«Наука о данных помогает рождению новых идей, – сказала Уиксом. – В компаниях учатся понимать не только главные потребности пользователей, но и не самые очевидные. А управление данными контролирует не только соблюдение нормативных требований, но ценность данность и этические аспекты их использования».

Специфика получения отдачи от стратегии данных может сильно варьироваться в зависимости от корпоративной культуры рабочей среды и, возможно, еще в большей степени, от отрасли. Так, в банковской сфере имеют дело с конфиденциальной финансовой информацией и, как правило, связаны жестким набором строго прописанных правил. А в технологической сфере правила свободнее, а работа с данными находится буквально в крови организации.

По словам Марка Пиконе, вице-президента Adobe по информационным сервисам, в их компании не было проблем с внедрением в рабочий процесс стратегии, ориентированной на данные.

«Каждый знал, что должен опираться на данные, – подчеркнул Пиконе. – Мы – пример изначально цифровой компании. Возможно, сначала мы даже не отдавали себе в этом отчета, просто начали действовать».

В результате, по словам Пиконе, в технически насыщенной среде, где обучение сотрудников науке о данных является стандартом и «каждый может задействовать разные типы систем», Adobe в конечном итоге пришла к созданию унифицированной структуры, которая вобрала в себя все данных, «вращающиеся» вокруг компании.

«Речь шла о том, чтобы действительно что-то делать, излекая больше смысла», – отметил он.

Научите бизнес видеть выгоду

В некоторых компаниях получение отдачи от стратегии управления данными бизнес-подразделениями, а не только ИТ-службой, может стать сложной задачей.

Так было в банке Bank of Queensland в Австралии, где ИТ-директор понял, что запуска новых инициатив в области данных, даже при поддержке руководства, будет недостаточно. Необходимо продемонстрировать практическую ценность данных, как они могут помочь организации в повседневной работе и улучшить обслуживание клиентов розничного банка.

Для Донны-Марии Винчи, директора банка по ИТ и цифровой стратегии, многоцелевой подход был ключевым: «Вы не можете просто вещать об этом сверху. Вы должны быть в состоянии понять и связать их действия, понять, почему это важно, как это поможет клиентам и чем это будет полезно для организации».

Пояснительные записки, излагающие новые политики в области данных, хороши, но только до какого-то момента. Винчи описала свои усилия по созданию своего рода «религии опоры на данные», инициативы, продвигаемой постоянными семинарами, которые помогают сотрудникам включать элементы работы данных в свою ежедневную деятельность.

«Это не просто презентация или что-то в этом роде, речь идет о полном погружении, – сказала Винчи. – И я думаю, что это погружение можно еще усилить».

Ее советы другим ИТ-директорам, только начинающим путешествие по данным? «Будьте терпеливы и держите курс на общение».

Винчи разработала собственную метрику для успеха, хотя и не вполне осязаемую. Постепенно она обнаружила, что культура работы с данными просачивается из ИТ-службы в бизнес-подразделения, причем до такой степени, что нетехнические сотрудники банка начинают самостоятельно придумывать решения своих рабочих задач, основанные на данных.

«Что действительно приятно и мощно, так это то, что ты не единственный, кто это говорит, когда отклик приходит из бизнеса, и бизнес-пользователи становятся защитниками подобного подхода», — призналась Винчи.

Роль директора по данным становится все более популярной, беря организации штурмом.

В компании Capital One первый директор по данным (Chief Data Officer, CDO) был назначен в 2002 году. В течение дальнейших десяти лет всего несколько организаций решили последовать ее примеру, однако в 2018 году, согласно проведенному NewVantage Partners опросу, уже 62,5% компаний, входящих в список Fortune 1000, сообщили, что в их организации имеется директор по данным.

Директор по данным отвечает за целый ряд связанных с данными функций, охватывающих управление данными, контроль за их качеством и создание стратегии управления данными. Кроме того, он несет ответственность за анализ данных и бизнес-аналитику, а также за процесс извлечения из данных ценных сведений. При этом некоторые функции управления данными могут быть отданы на откуп ИТ-службе, а анализ – главному аналитику, функционал которого пересекается с функционалом директора по данным.

Роль и обязанности директора по данным

Директор по данным входит в состав высшего руководства и отвечает за использование данных и управление ими в масштабах всей организации. Хотя должность директора по данным часто сокращается до аббревиатуры CDO, не надо путать ее с должностью директора по цифровым технологиям (chief digital officer), к которому также применим акроним CDO.

«Директор по данным – член высшего руководства компании, ориентированный на задачи бизнеса, понимающий стратегию и направленность бизнеса и думающий о том, как подкрепить все это данными», – указала Каролина Каррузерс, директор консультационной компании Carruthers and Jackson, бывший директор по данным Network Rail и соавтор книги 'The Chief Data Officer's Playbook and Data-Driven Business Transformation: How to Disrupt, Innovate and Stay Ahead of the Competition' («Тактика директора по данным и трансформация бизнеса, ведомая данными: как совершить прорыв, сделать ставку на инновации и обойти конкурентов»).

Хотя некоторые технические и ИТ-директора рассматривают появление директора по данным как посягательство на их территорию, Каррузерс считает, что сферы их ответственности отличаются друг от друга. Директора по данным отвечают за качество данных, управление основными и прочими данными, информационную стратегию, науку о данных и бизнес-анализ.

«Разница между директором по данным и ИТ-директором, на мой взгляд, вполне ясна, и здесь я зачастую использую аналогию с ведром и водой, – отметила Каррузерс. – ИТ-директор отвечает за ведро. За то, чтобы оно имело нужные размеры, находилось в нужном месте, в нем не было дыр и использование его было безопасным. Директор по данным отвечает за содержимое, которое находится в ведре и выливается оттуда, за его качество, перемещение в правильное место и организацию правильного потока. Ведро и вода не работают друг без друга».

Директор по данным и главный исследователь данных

«Хотя директор по данным и главный исследователь данных (chief data scientist) выполняют разные роли, их вполне может совмещать один человек, – указал партнер кадрового агентства BrainWorks Гай Гомис. – Совмещение позволяет собрать все лучшее, которое имеется в своем классе. Большинство лидеров в области исследования данных хотят держать под контролем стратегию обработки данных и обращение компании с данными. Им хочется, чтобы все вопросы, связанные с изучением данных, решались при их участии. Если вы постоянно занимаетесь соответствующими вопросами, в этом действительно есть смысл. Именно от исследования данных зависят ценности, которые приносят данные, поэтому аналитика является очень важной функцией. Вместе с тем нужна хорошая стратегия данных, необходимо управлять ими, иначе вы не получите данные должного качества для анализа. Лучше всего иметь стратегию, разработанную директором по данным, и главного исследователя данных, который ведает аналитикой, работая в тесной связи с ИТ-директором».

Кому должен подчиняться директор по данным?

Хотя должность директора по данным быстро завоевывает популярность в организациях, по свидетельству NewVantage, мнения в отношении ее важности и полномочий расходятся. Опрос показал, что 39% его участников относят директора по данным к числу руководителей, отвечающих за стратегию данных и ее результаты. При этом 61% респондентов отнесли его к числу топ-менеджеров, полагая, что у него нет какой-то одной сферы ответственности. А 50% считают, что директор по данным должен входить в состав руководящего органа, хотя многие и не согласны с этим.

По словам Каррузерс, подчиненность директора по данным в организации может варьироваться, но логичнее всего было бы подчинить его генеральному или исполнительному директору.

«Единственным абсолютно неверным решением я считала бы подчинение его ИТ-директору, – заметила она. – Поскольку роль эта развивается и совершенствуется, ее нужно подчинить кому-то из непосредственного руководства бизнесом. Директор по данным постепенно приближается к высшему уровню, на котором он и должен находиться. На мой взгляд, ИТ-директор и директор по данным должны поддерживать тесные партнерские отношения, а когда один подчинен другому, партнерство между ними невозможно».

Директор по данным Dun & Bradstreet Энтони Шриффиньяно, подчиняющийся генеральному директору компании, заметил, что точного ответа на вопрос о том, кому должен подчиняться директор по данным, у него нет: «Я видел, как этот человек играет определенную роль в сфере финансов, ИТ, маркетинга, исследовательской и проектной деятельности и даже разработки продуктов. Зачастую это новая роль, созданная человеком, который перерос предъявляемые к нему требования, и находится в той части организации, которую сам и создал. Но из этого вовсе не следует, что там он и должен оставаться».

Чего ждать от директора по данным

Согласно опросу NewVantage Partners, 34% руководителей компаний, входящих в список Fortune 1000, считают, что успешный директор по данным должен быть внешним проводником изменений со свежими перспективами. При этом 32% придерживаются противоположной точки зрения: по их мнению, на роль успешного директора по данным больше подходит ветеран, понимающий историю и культуру организации. Респонденты разошлись и во взглядах на образование директора по данным: 23% убеждены в том, что успешный директор по данным должен иметь подготовку в области исследования данных или соответствующих технологий, тогда как 11% видят его в числе руководителей, которые отвечают за финансовые результаты.

По словам Гомиса, доводилось ему наблюдать и директоров по данным с маркетинговой подготовкой, причем некоторые из них являлись даже обладателями степени MBA и ранее никогда не работали в сфере анализа данных. «Во многих случаях их деятельность заканчивалась провалом, но в пригласивших их компаниях считали, что навыки, привнесенные извне, окажутся более важными, чем опыт анализа данных».

Для директоров по данным, попавших в сложную ситуацию, весьма полезными оказываются навыки общения с людьми. «Одна из самых серьезных ошибок связана с непониманием целей и ожиданий, – указал Гомис. – За последние три года я наблюдал смену очень многих директоров по данным. Текучка кадров здесь просто невероятная. Все это свидетельствует о том, что ожидания компаний не совпадают с ожиданиями кандидатов».

Очень часто нереалистичные ожидания исходят со стороны работодателя. «Главная ошибка, совершаемая компаниями, заключается в том, что они ждут от привлекаемого человека решения их проблем, – пояснил руководитель направления данных и анализа консультационной компании Russell Reynolds Associates Джастин Черилли. – На самом же деле вы только приступаете к решению проблем – принятие сложных решений впереди. Вы начинаете интересоваться, что представляют из себя наши люди и наши процессы, как мы меняем нашу культуру. Ради достижения конечного результата генеральный директор разрешает директору по данным поменять все, что тот сочтет нужным, но при этом сам он не желает никаких изменений».

Зарплата директора по данным и вакансии

Анализ компенсаций, проведенных компанией PayScale, показал, что средняя зарплата директора по данным составляет 177 405 долл. в год, включая все виды бонусов, и может варьироваться в пределах от 118 427 до 313 791 долл. (Желаем отечественным CDO американских зарплат. — CIO.RU.)

Поиск вакансий директора по данным на сайтах Indeed.com и LinkedIn показал, что спрос на соответствующих специалистов есть в целом ряде отраслей, включая ретейл, СМИ, страхование и государственное управление.

Определенное представление о сфере ответственности директора по данным позволяет получить выборка из его должностных обязанностей, к которым относятся: разъяснение и пропаганда видения данных как критической составляющей стратегии роста; формирование стратегических политик доступа к данным; разработка и претворение в жизнь централизованной стратегии управления данными для увеличения доходов; надзор за управлением данными, инвестициями в них и партнерством; а также поддержание отношений с коллегами из высшего руководства на стратегическом уровне.

Сегодня компании заняты поиском высокомотивированных и опытных новаторов, способных помочь им в достижении ощутимых результатов, а также руководителей высшего звена, которые осуществляли бы контроль над данными и аналитическими подразделениями на протяжении семи и более лет.

Большие данные перестали писать с заглавных букв, волна ажиотажного интереса к этой теме спадает. В «сухом остатке» остаются конкретные бизнес-задачи по организации работы с данными в компании и множество связанных с ними вопросов. Своим пониманием роли директора по данным и рекомендациями по выстраиванию работы исследователей поделился Виктор Кантор, консультант и эксперт по машинному обучению.

- Действительно ли российским компаниям требуются директора по данным (Chief Data Officer, CDO) или обсуждение CDO — лишь дань моде?

Многие вещи, приходя в нашу жизнь, сначала являются данью моде, но постепенно обретают больше смысла. Пока у всех разное понимание того, что должен уметь и делать CDO. Кто-то, называя себя так, фактически выполняет работу главного исследователя данных CDS (Chief Data Scientist). Кто-то считает, что CDO не должен быть исследователем данных, а должен думать о том, какие данные компании следует собирать, хранить и использовать и каким образом. Еще одна популярная точка зрения: CDO должен уметь смотреть на данные с позиции бизнеса. В моем представлении CDO отвечает за все, что касается сбора данных и извлечения из них пользы для бизнеса, а значит, должен разбираться и в аналитике, и в инфраструктуре, и в бизнесе.

- Нужна ли отдельная должность CDO или его функции может выполнять директор информационной службы либо директор по цифровизации (Chief Digital Officer)?

Должна ли быть эта функция отдельной или ее можно доверить кому-то из топ-менеджеров, зависит от того, какие люди работают в компании. Если у сотрудника достаточно компетенций, чтобы справляться с задачами CDO — как в плане технических навыков, так и в организации своего рабочего времени, то не вижу проблемы в совмещении. Но и отдельная должность может быть вполне оправданной.

- Из каких специалистов можно вырастить CDO? Какие для этой должности требуются специфические знания и навыки?

Вырастить директора по данным можно из бизнес-специалиста, из аналитика или инженера, но при этом нужно трезво оценивать его реальные компетенции. Если человек пришел из инженеров и не вполне понимает бизнес или пришел из бизнеса и не знает, что в аналитике действительно возможно, а что — просто фантазии, то, будучи на позиции CDO, он своими решениями может навредить компании.

- Как правильно организовать работу с данными? Зачем выделять в структуре компании подразделение data science? Не эффективнее ли будут распределенные команды специалистов по данным?

Распределенная команда или одно подразделение — это вопрос вкусов и сопоставления плюсов и минусов каждого варианта с целями компании. В одном подразделении, как правило, более налажены такие вещи, как экспертиза, контроль качества работы, повторное использование результатов, но менее — плотное взаимодействие со смежниками. В команде, распределенной по отделам или по продуктам, общение со смежниками более активное и эффективное, но контроль качества, обмен опытом и развитие экспертизы остаются в каждой маленькой части команды, если не предпринимать дополнительных усилий. Бывает даже так, что команды независимо решают одну и ту же задачу, вместо того чтобы объединить усилия и воспользоваться результатами работы друг друга.

Для решения этой проблемы можно организовать различные мероприятия, принимать общие для всех аналитиков регламенты. Но когда у людей ближайший общий начальник — например, генеральный директор, рабочее взаимодействие несколько осложнено. Можно выделить кого-то, кто будет отвечать за всю работу с данными при том, что сама команда распределенная, но тогда у руководителей подразделений data science будет сразу по два начальника, а это тоже непростая ситуация, хотя и привычная для многих (в корпоративном мире никого не удивишь и тремя начальниками, указания которых постоянно противоречат друг другу). Все сводится к тому, что люди, которые сидят в офисе порознь, общаются меньше. Так что выбирайте, с кем ваш исследователь данных должен общаться меньше — с коллегами или со смежниками.

Я бы рекомендовал сначала сконцентрировать компетенции по data science в одном отделе. Этот отдел может работать с другими подразделениями как с заказчиками, решая для них задачи, и постепенно формировать список проектов. Как только проекты будут собираться в большие направления, для работы над этими направлениями в DS-отделе можно выделить группы. Когда их сотрудники и руководители будут готовы, а задач будет у всех много, можно подумать о распределении команды по отделам, но если компания не очень большая, то это совсем не обязательно. Конечно, если в организации работают 10 тыс. человек в нескольких бизнес-подразделениях и треть этих сотрудников имеют отношение к проектам по анализу данных, возможно, лучше завести несколько отделов data science. Но в небольшом стартапе не надо множить сущности. Так что выбирайте золотую середину — сравнивайте плюсы и минусы и принимайте решение.

Как построить эффективное подразделение data science в условиях дефицита опытных специалистов?

В условиях нехватки высококвалифицированных кадров я бы рекомендовал инвестировать в перспективных молодых сотрудников.

Мой рецепт состоит из нескольких пунктов. Во-первых, нанять одного-двух узнаваемых и компетентных специалистов в качестве руководителя подразделения или эксперта, чтобы вокруг этих людей собиралась команда. Во-вторых, привлечь в команду уже проявивших себя сотрудников младшего и среднего уровня — например, из топовых выпускников образовательных проектов. Далее надо сделать все, чтобы членам команды было комфортно, нравилась рабочая атмосфера, окружение и задачи. Это обеспечит их лояльность компании и желание продолжать работать. Наконец, не препятствовать их карьерному росту.

Последнее очень важно. Если вы осознанно инвестируете в перспективных сотрудников и они быстро развиваются, оправдывая эти инвестиции, то самое нелогичное и непоследовательное — отказывать им в повышении. К сожалению, так происходит почти всегда и везде. Но если человек повысил свой профессиональный уровень и понимает это, то повышение он все равно получит — не в вашей компании, так в другой. А нового сотрудника вы найдете не сразу и будете платить ему больше, чем старому. Так что, инвестируя в амбициозных и перспективных, важно сразу понимать, что вас ждет, и быть последовательными.

Конечно, необходимо уяснить, кому в компании нужно эффективное применение data science. Если только руководителю этого подразделения, то в общем-то без разницы, как строить команду. Очень опасная тенденция последних лет — создавать отделы data science, руководствуясь соображением: «Нам нужно машинное обучение, нам нужен анализ данных — сделайте его нам». И содержательно уже не важно, что там будет, главное — чтобы «у нас было машинное обучение». В первую очередь следует разобраться, нужно ли компании подразделение data science и зачем, обрисовать круг его задач, выяснить, чем это может быть полезно бизнесу и до какой степени.

Сегодня руководители всех уровней признают, что искусственный интеллект способен принести пользу бизнесу, но чтобы это стало реальностью, нужно правильно применять новшество.

Ориентироваться можно на передовые организации, которые уже осуществляют соответствующие инициативы. Как свидетельствует опрос, недавно проведенный Deloitte Consulting, 82% организаций-первопроходцев получают полезную финансовую отдачу от инвестиций в когнитивные технологии — средняя рентабельность вложений составляет 17%.

В Deloitte уверены: проект внедрения ИИ будет успешным, если он ориентирован на потребности бизнеса, а не просто затеян ради стремления воспользоваться новшеством. Организациям, рассчитывающим получить максимум возможного от ИИ, в Deloitte Consalting советуют сосредоточиться на конкретных задачах — сфокусироваться на бизнес-цели, которую нужно достичь, продемонстрировать ценность новшества и наращивать масштаб.

Приведем восемь советов, которые помогут извлечь выгоду из проектов в сфере ИИ от организаций, в которых благодаря таким инициативам уже получают реальные преимущества.

Сосредоточьтесь на конкретных проблемах

В General Electric подчеркивают, что ориентиром для всех проектов компании в области ИИ служит их ценность с точки зрения бизнеса. Реализация начинается с набора минимально жизнеспособных продуктов, на которых демонстрируются эффективность прогнозирования и преимущества системы — способность делать прогнозы быстро и экономично, возможность повысить прибыль и т. д. Затем выбираются оптимально выгодные для бизнеса методы развертывания и масштабирования.

Придерживаться этого принципа крайне необходимо, подчеркивают в GE. Например, если система ИИ выдает прогнозы относительно потребностей оборудования в ремонте, их необходимо интегрировать в соответствующий рабочий процесс, то есть организовать своевременную отправку на объект инженера соответствующей специализации. Возможно, также понадобится интеграция с системой управления запасами или даже с самим обслуживаемым оборудованием. Допустим, если ИИ способен понять, что в оборудовании требуется оперативно увеличить давление или температуру, то понадобится соединить ИИ с его системами управления.

Учитывайте пределы возможностей ИИ

В психологии существует понятие эффекта Даннинга — Крюгера, суть его в том, что человек с недостаточной квалификацией не способен осознавать ошибочность своих действий. В подобную ловушку могут попасть и системы ИИ. Например, если систему, обученную на определенной выборке данных, заставить делать прогнозы по набору данных из другой области, ответы могут быть принципиально неверными, но выглядеть убедительно с точки зрения пользователя, привыкшего доверять результатам работы ИИ.

Понять, подходит ли конкретная аналитическая модель для определенного набора данных, сможет только специалист в области data science. Нужно знать, какие допущения делались при создании модели и попробовать нагрузить ее — возможно, данными другого рода, чтобы понять, насколько она эффективна, объясняют в GE.

Для решения этой проблемы в компании начали работу над системой ИИ, которая сама «знает», для каких ситуаций подходят ее алгоритмы, и использует их только для этих сценариев. Если соответствия нет, вместо ИИ используется физическая модель, применяемая в компании уже много лет. Сейчас новая разработка проходит тестирование.

Прислушивайтесь к пользователям и заказчикам

Чтобы создать системы ИИ, выдающие полезные результаты, требуется участие не только разработчиков. В идеале проект нужно начинать с совещания с участием всех основных заинтересованных лиц, которые обсуждают все подробности и документируют все требования к системе, отмечают в Healthy Nevada Project.

В организации приводят пример, когда ее специалисты разрабатывали протокол лечения пациентов, страдающих сердечно-сосудистыми заболеваниями. Для этого нужно было собрать сведения о лекарствах, которые назначались таким пациентам при выписке из больницы. Но некоторые средства назначаются пациенту сразу при его поступлении в стационар, а после выписки он должен продолжать их прием. Система предположила, что это лекарства, которые пациент уже принимал до поступления в стационар, а не новые средства, назначенные в связи с причиной госпитализации. Проблему обнаружили, только когда выявилась нехватка некоторых лекарств.

По признанию разработчиков, недоработку можно было обнаружить гораздо раньше, если бы с самого начала проводились подробные обсуждения с участием всех заинтересованных сторон. Отныне разработчики стараются не делать вообще никаких предположений самостоятельно — прежде чем приступить к созданию системы, проводят тщательный отбор и обсуждение требований.

А компании Coupa, которая предлагает платформу управления расходами предприятия, один из клиентов посоветовал новый способ борьбы с мошенничеством. Прежде контроль растрат велся изолированно по различным видам мошенничеств — например, с финансовой отчетностью или с закупками. Но выяснилось, что сотрудники, уличенные в одном виде жульничества, нередко склонны и к другим. После совещания со специалистами по закупкам и финансовыми аудиторами решено было организовать распознавание мошенничеств путем анализа данных по сотрудникам.

ИИ оказался оптимальным средством для этого, в связи с тем что для выявления закономерностей приходится обрабатывать огромный объем данных и человек просто не справился бы с таким объемом работы. К тому же ИИ ускоряет процесс обнаружения мошенничества и своевременно блокирует проведение сомнительных платежей. Теперь в Coupa формируют базу знаний по способам мошенничества, о которых сообщают клиенты, и на ней обучают систему ИИ.

Используйте знания в области своей специализации

ИИ сам по себе — не «чудодейственное средство». В консалтинговой компании Globant отмечают, что заказчики нередко просят «подключить искусственный интеллект» к имеющемуся у них огромному озеру данных, чтобы он находил там полезные сведения. ИИ способен выявить скрытые закономерности, но, не задавая верных вопросов, ответов вы от него не получите.

Большая ошибка — полагаться только на исследователей данных и специалистов в области ИИ в рамках проектов аналитики, отмечают в компании Cognoa, где применяют ИИ для диагностики расстройств поведения, в том числе для выявления детей с аутизмом.

В реальных данных могут быть взаимозависимости, а какая-то часть данных может быть не нужной, и, чтобы отличить ее, понадобится эксперт в вашей предметной области. Например, если две группы пациентов проходят диагностику в кабинетах со стенами разного цвета и результаты этих групп различаются, аналитическая модель может решить, что цвет краски на стенах имеет клиническую значимость. По мере роста объема данных подобные ситуации станут маловероятными, но не исключены менее заметные ошибки, которые не заметит эксперт в области ИИ, не имеющий знаний в предметной области. Это особенно критично, когда наборы данных небольшие — например, если дело касается редких заболеваний.

Разумеется, специалисты в предметной области сами могут быть предвзятыми, скажем, ошибочно верить в связь между определенными характеристиками и заболеваниями. Для большей уверенности можно привлекать к работе и экспертов, и искусственный интеллект, а затем сравнивать результаты.

Медики, работающие в Cognoa, помогают выяснять работоспособность моделей и совершенствовать их. В компании признаются, что всякий раз, когда алгоритм ИИ проверяется в рамках клинических исследований, выясняется, что реальность не соответствует моделям. Такие проверки помогают оптимизировать и дорабатывать продукт.

Использование знаний в предметной области совместно с ИИ также полезно при контроле правильности данных, отмечают в CAS, компании, занимающейся сбором и публикацией данных химических исследований.

Неверно поставленные пробелы, нижние индексы, дефисы и ошибки даже в единственной букве формулы могут превратить безопасную реакцию во взрывную. Поэтому в CAS более 350 дипломированных химиков занимаются контролем правильности данных.

С недавнего времени в компании начали использовать ИИ для классификации и очистки данных, благодаря чему часть ученых удалось освободить для более сложной работы. Но даже в ходе реализации простой системы распознавания текста нужны знания в предметной области, добавляют в CAS. Например, «nmol» означает наномолярную концентрацию, а «mmol» — миллимолярную, на шесть порядков больше. Если система перепутает два этих обозначения, реакция может превратиться в разрушительную.

Поэтому CAS нужны специалисты как в области ИИ, так и в области химии — это затрудняет поиск кандидатов и иногда делает невозможным наем сторонних подрядчиков.

Тестирование в реальных условиях — необходимость

Как «ни один план не переживает встречи с противником», так никакая система ИИ не переживает встречи с реальным миром. Если упустить это из виду, ваш проект ИИ обречен с самого начала, уверены в Credit Suisse Group.

Когда в финансовой группе решили запустить чатбот для службы клиентской поддержки, разработчики осознавали, что программа из-за неспособности ответить на все вопросы будет часто переводить вызовы на людей. Но в компании специально приняли решение ввести бот в эксплуатацию на ранней стадии, когда он понимал цель обращения лишь в 23% случаев. Работая в реальных условиях и наблюдая за ведением диалогов с участием представителей различных культур, стран и поколений, робот обучался, и всего за пять месяцев его уровень понимания вырос до 86%.

Не забывайте, что ИИ — это «черный ящик»

Искусственному интеллекту трудно доверять, поскольку неясно, каким именно образом он приходит к решению. Эту проблему называют «проблемой черного ящика».

В компании Beacon Health Options, занимающейся лечением расстройств психики, посетовали, что в некоторых ситуациях проблема «черного ящика» может быть непреодолимой.

В Beacon решили разработать систему на базе ИИ, которая бы выявляла проблему на ранней стадии, до того, как пациенту может потребоваться госпитализация. При этом в компании не только обучали будущих пользователей системы процедурам работы с ней, но и разъясняли принцип действия алгоритмов. А перед вводом в рабочую эксплуатацию был проведен пробный запуск с использованием данных по прежним пациентам. Как объясняют в компании, те пациенты, для кого прогнозировался высокий риск, были действительно подвержены высокому риску обострения, поскольку их позднее поместили в стационар. Таким образом, врачи Beacon могли наблюдать, как именно действует система, и это помогло уменьшить недоверие.

Затем, когда ИИ начали использовать для выявления риска у новых пациентов, за первые 12 недель система выявила почти 300 человек с высоким риском, больше половины из которых прежде таковыми не считались, согласно результатам традиционных диагностических методов. С выявленными пациентами была начата работа — телефонные собеседования, предоставление контактной информации о медицинских учреждениях, контроль приема лекарств. Через один-два месяца появилось достаточно данных, чтобы далее совершенствовать созданную систему.

Используйте понятные показатели

Наличие понятных бизнесу показателей для измерения результатов проекта ИИ нужно, чтобы демонстрировать эффективность системы и необходимость продолжать ее финансировать.

Между тем во многих организациях этому аспекту проектов ИИ достаточного внимания не уделяют. Меньше чем в половине компаний, участвовавших в опросе Deloitte, измеряют ключевые показатели эффективности, необходимые для оценки финансовых результатов, — экономию, выручку, сохранение клиентской базы и др.

По словам аналитиков Deloitte, эта проблема типична для новых технологий — нередко их внедрения не сопровождаются таким же строгим контролем, как работа с более зрелыми технологиями. Следствием может стать превращение инициативы в области ИИ в «мост в никуда» — пилотные внедрения не масштабируются или проект просто не приносит бизнесу выгоды.

Развивайте сотрудников

Непросто найти людей, одновременно являющихся экспертами в области ИИ и разбирающихся в вашем бизнесе. Специалистов по ИИ сегодня не хватает во всем мире, а если добавить еще и требование знаний в вашей области, пул возможных кандидатов становится крайне ограниченным. Как показал опрос Deloitte, посвященный освоению ИИ в компаниях, в 69% из них испытывают нехватку специалистов.

В GE делают все возможное, чтобы находить людей, одновременно обладающих навыками в области программирования и аналитики и знаниями в сфере инженерного проектирования — основной области специализации компании. В GE инвестируют в университетские курсы, ищут кандидатов через Интернет, налаживают контакты на отраслевых конференциях.

Но вместе с тем в GE обращают внимание на собственных сотрудников инженерного профиля, которые занимаются на курсах обучения в области ИИ, а также разработчиков ИИ-решений, изучающих системы управления и материаловедение. Найти специалиста с нужным сочетанием навыков — это еще полдела, добавляют в GE: нужны те, кто способен применять эти обширные знания на практике, превращать задачи бизнеса в задачи анализа данных.

В GE функционируют собственные курсы обучения, на которых одновременно преподаются дисциплины ИИ и инженерного проектирования. На сегодня их закончили уже около трети всех ученых и инженеров компании.

По словам представителей GE, это только начало процесса, направленного на изменение корпоративной культуры, принципов организации работы и системы поощрений.

— Maria Korolov. 8 secrets of successful AI projects. CIO. November 8, 2018

Сегодня, когда в компаниях практически всех отраслей стремятся получать максимальную отдачу от доступных растущих информационных ресурсов, одними из самых востребованных специалистов стали эксперты по данным (data science).

Ценность этой специальности будет расти и дальше по мере того, как в организациях будут ставить себе на службу всевозможные внутренние и внешние источники информации. В прошлом работа с данными была по большей части технической: сотрудники соответствующих отделов «колдовали» над базами данных, поставляя информационное «топливо» для корпоративных систем, чтобы бизнес-руководители могли готовить отчеты и повышать финансовые результаты.

Технические функции по-прежнему важны, но сегодня восходящими звездами бизнеса становятся специалисты-универсалы, умеющие не только манипулировать огромными объемами информации при помощи статистических методов и наглядных репрезентаций, но и способные точно прогнозировать развитие событий и устранять возможные помехи бизнесу.

Что именно нужно, чтобы стать экспертом в области науки о данных? Перечислим основные качества и навыки, необходимые такому специалисту.

Критическое мышление

Способность критически мыслить необходима для объективного анализа фактов, перед тем как сформулировать мнение или вынести суждение по решаемой проблеме.

Вникнув в суть задачи бизнеса, нужно уметь выделить то, что действительно важно для ее решения, и отбросить несущественное. Этот навык – один из определяющих для специалиста по данным.

Наряду с опытом необходима способность отбрасывать стереотипы. С одной стороны, нужны базовые знания в широком круге областей, с другой – четкое понимание того, что опыт и интуиция не гарантируют стопроцентного успеха. Опыт дает преимущество, но излишняя самоуверенность создает риск, поэтому способность к нешаблонному мышлению имеет большое значение.

Но смысл не в том, чтобы смотреть на любые ситуации широко открытыми глазами новичка, а в том, чтобы оценить проблему под разными углами.

Программирование

Лучшие исследователи данных умеют писать код и способны решать широкий круг задач программирования. Предпочтительным языком программирования для науки о данных становится Python, немало поклонников есть у R. Применяются и другие, в том числе C++, Scala, Closure, Java и Octave.

При этом, помимо общих знаний в области работы с большими объемами данных, с информацией реального времени, облачными сервисами и неструктурированными данными, нужны знания в области статистических методов и моделей – в частности, представление о концепциях регрессии, оптимизации, кластеризации, деревьев принятия решений и т. п.

Если у самого исследователя данных нет навыков программирования, можно положиться на соответствующих специалистов. Партнерство между разработчиком и ученым по данным может быть весьма плодотворным.

Математика

Наука о данных – не лучший выбор для тех, кто не любит математику и не получил соответствующего образования.

Крупным организациям требуется разработка сложнейших статистических моделей финансовой и операционной деятельности, для обеспечения достоверности которых нужны огромные объемы данных. Создание моделей, приносящих реальную пользу при разработке и оптимизации бизнес-стратегий, невозможно без соответствующей математической подготовки.

Ученый по данным должен не только превосходно разбираться в статистике, но и уметь работать в тесном взаимодействии с бизнес-руководителями, а им обычно требуются доходчивые разъяснения происходящего в «черном ящике». Только в этом случае бизнес будет ощущать доверие к полученным вами результатам и предоставленным рекомендациям.

Машинное обучение и искусственный интеллект

Эти направления сегодня развиваются чрезвычайно быстро благодаря росту доступных мощностей, сетевых соединений и возможностей сбора данных. Ученому по данным необходимо быть в курсе последних разработок и понимать области применения различных технологий. Однако стоит избегать внедрения заманчивого новшества, если для решаемой задачи будет достаточно намного менее сложных средств.

Данные «сами» помогут прийти к выбору технологии, когда будет глубокое понимание проблемы и ограничительных условий, включая вычислительные затраты, интерпретируемость, характеристики сети, уровень ожиданий заказчика и т. п.

Вместе с тем нужны навыки в области использования статистических методов. Работодатели не всегда это учитывают, поскольку сегодня широко доступны соответствующие автоматизированные средства, в том числе с открытым кодом. Однако без статистических знаний не будет понимания ограничений таких инструментов.

Недостаточно уметь освоить интерфейсы для работы с готовыми реализациями алгоритмов машинного обучения. Чтобы выбрать подходящий, необходимо понимать статистические методы и принципы предварительной подготовки данных для оптимизации скорости работы модели.

Важны также знания в области компьютерной науки, в частности основ программной инженерии.

Коммуникативные способности

Важность коммуникативных навыков стоит особо подчеркнуть. В службах ИТ сегодня практически ничто не делается «в вакууме»; всегда есть взаимодействие между различными системами, приложениями, данными и людьми. Не исключение и процессы исследования данных, поэтому готовность общаться – одно из важнейших качеств.

Необходимо умение доступно объяснять математические выкладки и превращать их в практические знания. Ученый по данным, работающий на пересечении ИТ, статистических методов и бизнеса, должен быть способным изложить полученные результаты в нужной форме любому из заинтересованных лиц.

Нужно уметь разъяснять топ-менеджерам преимущества данных для бизнеса, возможности технологий и вычислительных ресурсов, проблемы качества данных, приватности и конфиденциальности, а также другие вопросы, имеющие значение для организации.

Иметь хорошие коммуникативные навыки – значит быть способным облечь в доступную форму сложную техническую информацию, но при этом точно и исчерпывающе передать ее смысл. Не стоит забывать, что работа ученого по данным приносит результаты, которые могут и будут использоваться для поддержки руководящих решений.

Исследователю данных нужны знания в области бизнеса и способность задавать верные вопросы бизнес-руководителям, чтобы понять суть проблемы и разобраться, какие именно данные будут полезными для ее решения.

Кроме того, нужно умение разъяснять принцип действия алгоритмов. Способность рассказать, как именно система пришла к тому или иному выводу, важна для завоевания доверия руководства к прогнозным моделям, которые используются в рамках их бизнес-процессов.

Архитектура данных

Понимание всех процессов, через которые проходят данные от источника до создания модели и принятия бизнес-решения, – обязанность ученого по данным.

Отсутствие понимания архитектуры данных ведет к ошибкам в размере выборки и предположениях, обусловливая неверные результаты и решения.

Что еще хуже, может появиться необходимость менять сами элементы архитектуры. Без исходного понимания ее влияния на модели вы можете застрять в бесконечных доработках, раз за разом получая неточные результаты и тщетно пытаясь разобраться в причинах.

Hadoop избавляет от необходимости перемещать большие данные, обрабатывая их в месте хранения, однако знание всех подробностей конвейера обработки по-прежнему важно для обеспечения принятия качественных, обоснованных решений.

Анализ рисков, оптимизация процессов, системная инженерия

Исследователю данных необходимо понимать принципы анализа бизнес-рисков, улучшения процессов и системной инженерии. Соответствующие навыки применяются комплексно как при работе над моделями, так и при взаимодействии с заказчиком, в частности для получения от него исчерпывающих сведений о решаемой задаче.

Для снижения рисков методы их анализа нужно применять с самого начала разработки моделей. Способность выбирать компромиссы между затратами на улучшение процессов и полученными преимуществами, понимание типичных рисков вашей компании и знание потенциального влияния различных систем на ваши данные и предоставляемые результаты помогает повысить удовлетворенность заказчика.

Способность к решению проблем и бизнес-чутье

Ученому по данным необходимы качества, помогающие справляться с проблемными ситуациями. Прежде чем вытащить весь свой арсенал инструментов, исследователь данных рассматривает проблему под многими углами, стараясь вникнуть в суть. Он скрупулезно подходит к своей работе и способен доступно разъяснить полученные результаты.

Именно на эти свойства, помимо склонности к критическому мышлению, следует обращать внимание при найме технического специалиста на должность ученого по данным.

В целом сочетание навыков хорошего ученого по данным выглядит действительно редким: высокие интеллектуальные способности для решения задач обработки данных и создания эффективных моделей, хорошее понимание проблем бизнеса, знание структуры данных и принципов работы различных алгоритмов.

Первое из перечисленного найти проще – необходимые качества обычно есть у большинства выпускников высших учебных заведений с математическими, инженерными и другими техническими специальностями. А вот с изложением принципов действия моделей сложнее. По свидетельству работодателей, весьма распространена ситуация, когда на собеседование приходит человек с опытом построения сложных моделей, но при этом неспособный внятно объяснить, почему именно та или иная модель сработала и на каком основании был выбран конкретный подход к реализации.

Даже если сама модель делает точные прогнозы, без понимания принципа действия доверия к ней будет меньше. Поэтому залогом успешной карьеры на поприще науки о данных будут глубокие познания механизмов работы различных алгоритмов в сочетании с развитой интуицией.

– Bob Violino. Essential skills and traits of elite data scientists. CIO. MAR 27, 2018

В прошлом году Национальный исследовательский университет «Высшая школа экономики» обнародовал концепцию проекта Data Culture, направленного на обучение технологиям анализа данных студентов бакалавриатов всех факультетов университета. Одним из инициаторов проекта является вице-президент НИУ ВШЭ Игорь Агамирзян.

Агамирзян имеет очень большой и разноплановый опыт работы в ИТ-индустрии. C 2009 по 2016 год, он, возглавляя Российскую венчурную компанию, внес большой вклад в формирование в России экосистемы инновационного предпринимательства. До перехода в ВШЭ сотрудничал с университетом на протяжении 15 лет, участвуя в создании первых технических специальностей в вузе, а сейчас курирует направления по инженерии и computer science (факультет компьютерных наук – ФКН, МИЭМ). Беседа с Агамирзяном, который 28 марта выступит на форуме BIG DATA 2018, не ограничивалась обсуждением проекта Data Culture. Мы говорили о том, каким в целом должно быть высшее образование, чтобы соответствовать задачам цифровой экономики.

– С чем связано появление проекта Data Culture?

Сейчас молодежи, чтобы успешно развиваться в современной социально-экономической структуре, необходим базовый набор компетенций, сильно отличающихся от тех, которые были нужны моему поколению. Это новая культура в широком смысле. У Юрия Лотмана есть прекрасное определение: «Культура – это совокупность генетически не наследуемой информации в области поведения человека». Это то, что приобретается как результат воспитания, образования, жизни в определенной среде. А среда меняется со временем, и сейчас у общества иные потребности, чем 50-100 лет назад, поскольку другой становится его структура за счет изменения структуры экономики, в основе которой изменения технологического ландшафта.

В результате взрывного развития технологий в последние 50 лет, многое для человечества сейчас происходит впервые: постоянное нахождение в ситуации переизбытка информации, возможность мгновенной коммуникации в планетарном масштабе. Это уже приводит к существенным социальным последствиям, и тенденция будет только нарастать.

Что нужно молодым людям в этих меняющихся условиях? Безусловно, культура работы с данными: сегодня ни в одной специальности невозможно существовать без умения ориентироваться в информации. Одна из принципиальных особенностей современной среды – это общедоступность гаджетов, которые являются нашим персональным шлюзом в информационный мир.

Второй элемент культуры XXI века – предпринимательская культура. Экономика, основанная на знаниях, базируется на гораздо более развитой экосистеме создания ценности. Если в традиционной индустриальной экономике производительной силой и объектом производства были материальные объекты – например, завод и автомобили, то в современной экономике основным центром создания добавленной стоимости является не завод, а его конструкторское бюро. Маржинальность производственной части стремится к нулю, стоимость энергетических и физических ресурсов падает, а потому себестоимость единицы продукции при массовом производстве становится ничтожно малой. Драматическое падение цен на электронику это хорошо иллюстрирует. А ценность создается в развитой экосистеме инжиниринга, для существования в которой необходимы предпринимательские компетенции.

И это необязательно стартапы и технологическое предпринимательство. По сути, любая внутрикорпоративная инициатива – тот же стартап, только внутри существующей оргструктуры. Кроме того, проекты на стыке социальных и креативных задач приобретают все большее значение в условиях снижения востребованности многих традиционных профессий, связанных с низкоэффективным физическим трудом. Высвобождающиеся при этом ресурсы переходят в сферу услуг, связанных, например, с туризмом или ресторанным бизнесом.

Чего уже никогда не будет, так это гарантированной занятости, характерной для больших индустриальных обществ. Мы должны быть готовы в ближайшие десятилетия жить в условиях профицита рабочей силы и сильной дифференциации в востребованности квалификаций. Все процессы, связанные с внедрением цифровой экономики, включая цифровые производства, цифровую энергетику, цифровое ЖКХ, интеллектуальный транспорт и т. д., будут приводить к вымыванию кадров средней квалификации. При этом будет сохраняться и, возможно, расти спрос на низкоквалифицированные ресурсы и будет очень небольшой спрос на суперквалифицированных, элитных специалистов. Предпринимательский дух в экономике, для которой характерен профицит трудового ресурса, будет абсолютно необходим.

Я не хочу сказать, что каждый станет предпринимателем, и не думаю, что можно научить предприимчивости – это свойство характера, но можно научить технологиям ведения предпринимательской деятельности.

Ключевой компетенцией для цифровой экономики также является культура проектной работы, причем с точки зрения как управления проектами, так и участия в них. И наконец, для того чтобы заниматься предпринимательской деятельностью, проектной работой, необходима культура коммуникаций. Этому нас никогда не учили, более того, это противоречит традиционной концепции общего образования, которое всегда было индивидуализировано. Уже сейчас очень трудно проверить, решил ли учащийся задачу сам или нашел решение в Google. А когда в ближайшие годы появится специализированный искусственный интеллект, позволяющий для любой задачи моментально получить ответ в смартфоне, система индивидуальных заданий из закрытого списка окончательно перестанет работать. Поэтому необходимы другие подходы, подразумевающие индивидуализированные образовательные траектории и в то же время коллективную работу, результатом которой может быть, например, некая предпринимательская инициатива. При этом надо уметь пользоваться возможностями и избегать рисков, порождаемых переизбытком информации.

– Все это выглядит как колоссальный вызов для системы образования…

Это вызов не только для системы образования, но и для всего общества. Технологическое развитие в первую очередь влияет на экономику, а через экономические изменения – на социальные явления. У меня есть предположение, что на протяжении этого века должно кардинально измениться понятие государства. Социальные структуры всегда строились на коммуникациях, которые были возможны благодаря территориальной близости. Впервые в истории человечества мы оказались в ситуации глобальной бесплатной связности, когда структура общения не зависит от физического местоположения. И это может привести к кардинальным изменениям на глобальном уровне. Традиционные госструктуры вряд ли будут это приветствовать, и пример тому – попытки регулирования Интернета, но противостоять подобным тенденциям бессмысленно.

– Когда мы общались примерно два года назад (см. «Стратегия прорыва», «Computerworld Россия», 29.02.2016), вы высказали предположение, что наука о данных (Data Science) как отдельное направление не сохранится, но будет Data Science в энергетике, Data Science в транспорте, Data Science в ЖКХ и т. д. Программа Data Culture, по-видимому, отвечает этой вашей идее?

Все самое интересное вокруг нас лежит на пересечении информации и физического мира. Цифровое производство, интеллектуальные транспортные системы – это приложение информации и ИТ к вполне традиционным областям человеческой деятельности. Данные имеют смысл только тогда, когда им придана какая-то интерпретация, которая, в свою очередь, задается предметной областью и алгоритмами работы с этими данными. Алгоритмы являются неотъемлемой частью науки о данных, поэтому в проекте Data Culture надо среди прочего развивать алгоритмическую культуру и понимание того, как работать с данными.

– Могу представить, что алгоритмической культуре можно и нужно учить студентов ФКН. А как быть с остальными факультетами, например гуманитарными? Чему и как учат в рамках проекта Data Culture менеджеров, экономистов, филологов, ну и математиков наконец?

Программа кастомизируется в зависимости от потребностей конкретной специальности, но она действительно нужна всем. Вопрос – в степени глубины. Математикам и студентам ФКН, безусловно, проще. Хотя математику называют матерью всех наук, это не наука, а язык, на котором формулируются задачи любой другой науки. В отличие от естествоиспытательских наук, таких как физика или биология, изучающих явления природы, математика и computer science являются, по сути, фабриками артефактов. Будущим специалистам в этих областях присущ конструктивизм, поэтому прививать им культуру работы с данными несложно.

Во многих других областях человеческой деятельности конструктивный подход, связанный с определением новых сущностей, проявляется гораздо меньше. История, филология, философия – это не конструирование нового, а анализ того, что уже существует. Культура работы с данными тоже связана с анализом, но, для того чтобы анализировать данные в цифровой форме, нужно понимать, как выполняется конструирование артефакта в виде алгоритма, программы и т. д. Одно из достижений последнего времени состоит в том, что появились вполне понятные средства программирования с возможностью интеграции в глобальные среды работы с данными.

В проекте Data Culture для каждого конкретного факультета строится своя учебная траектория и набор уровней, которыми могут овладеть студенты с точки зрения использования данных в приложении к своей специальности. Как все это будет выглядеть, определяют специалисты в данной предметной области. Поэтому важнейшей частью проекта является подготовка и обучение преподавателей.

– Не создаст ли это проблем в продвижении проекта, ведь сложившемуся преподавателю может быть трудно воспринимать новое?

Молодежь это очень легко воспринимает, а в Вышке много молодых преподавателей. Но и среди опытной профессуры на удивление много людей, абсолютно открытых новому. И это тоже результат происходящей технологической, экономической, социальной революции – меняется отношение к возрасту. Модель общества, в котором считают, что в 60 лет наступает старость, уже неактуальна. Те, кто продолжает активно работать, учатся всю жизнь.

– Меняются ли российские вузы в ответ на глобальные изменения экономики и общества, связанные с технологическим развитием?

В Высшей школе экономики это несомненно происходит, и ВШЭ входит в число лидеров изменений среди высших учебных заведений в нашей стране. Но я бы не рискнул сказать, что таких университетов много. Большие изменения происходят, например, в питерском ИТМО, где успешно решается задача формирования университета нового типа. Сколтех с чистого листа создавался как такой университет. Его учебная программа включает только магистратуру, но надо сказать, что в ведущих мировых университетах соотношение бакалавров, магистров и аспирантов иное, чем в наших больших вузах, в них магистры и аспиранты преобладают. Знаменитые Стэнфорд и MТИ ориентированы преимущественно на подготовку специалистов с более высоким уровнем образования.

– В связи с падением востребованности среднего слоя специалистов, о котором вы говорите, не изживет ли себя система бакалавр-магистр?

Я говорил о вымывании среднего уровня, но о сохранении или даже росте спроса на низкую квалификацию, под которой необязательно подразумевать только людей, занимающихся физическим трудом. Это могут быть «пролетарии умственного труда», которые умеют работать по регламенту. Так, технология создания программного продукта – это работа по определенному управленческому регламенту, хотя программирование и содержит в себе элемент креативности.

Хороший пример – инженерное ПО. Специалист, который использует AutoCAD для решения конкретных инженерных задач, и специалист, который разрабатывает алгоритмы моделирования, используемые в системах автоматизации проектирования, имеют разные уровни квалификации. Подавляющее большинство инженеров сегодня – это пролетарии умственного труда, применяющие инструменты для решения конкретных задач, как правило, связанных с системной интеграцией. Поэтому современному инженеру культура работы с данными для поиска информации о лучших компонентах для своего решения необходима гораздо больше, чем, скажем, владение сопроматом, который уже «зашит» в САПР.

ИТ оказались мощнейшим инструментом унификации процессов, потому что в ИТ-системах «зашита» значительная доля регламентной работы. Инструментарий и техника работы в разных отраслях стали гораздо более схожими, чем это было в индустриальном мире.

– Если говорить непосредственно о работе с данными, то такими «сборочными компонентами» будут аналитические решения, инструментарий машинного обучения, которые вендоры стараются сделать все более доступными пользователям, не являющимся учеными по данным?

Совершенно верно, в работе с данными все большую роль играет системная интеграция. Без библиотек, без доступного инструментария сделать ничего невозможно. Такое впечатление, что останется несколько компаний в мире, способных писать компоненты, а вся остальная ИТ-индустрия перейдет в разряд высокоуровневых системных интеграторов, которые пишут программный код на уровне использования библиотек от Microsoft, Google, Apple и др.

– Что тогда подразумевает профессия Data Scientist? Это системный интегратор или создатель библиотек?

Data Scientist – это прежде всего постановщик задачи, пользователь всей этой технологической начинки для решения конкретной проблемы в конкретной предметной области. Все известные мне люди, занимающиеся Data Science, очень хорошо понимают предметную область, к которой прилагается наука о данных, но при этом обладают математическими знаниями. В Высшей школе экономики ведутся проекты с самыми разными приложениями. Есть группа, которая работает с ЦЕРН по анализу данных большого адронного коллайдера, а есть группа, которая занимается анализом данных нейросигналов. Понятно, что они могут применять одни и те же или близкие алгоритмы машинного обучения, но если мы перепутаем нейросигналы с событиями в коллайдере, то вряд ли получим что-либо содержательное.

– Есть ли четкое понимание того, как учить этой профессии?

На ФКН такое понимание есть, подготовка уже успешно ведется, и в ней важное место отводится сотрудничеству с индустриальными партнерами. Вообще, одной из особенностей современного образования является то, что университет все больше зависит от партнеров из бизнеса. В частности, потому, что очень часто новые технологические идеи приходят из индустрии, а не из академической среды. До 80-х годов прошлого века в Computer Science развитие шло преимущественно в университетской среде либо в индустрии, но с активным участием университетов. Затем возникла ситуация, когда разработчики персональных компьютеров оказались оторваны от академической среды и потому на первых порах часто изобретали велосипед – то, что было давно и хорошо известно в науке, в индустрии ПК становилось открытием. А потом развитие пошло настолько быстро, что на протяжении 90-х и нулевых годов скорее университетская среда питалась достижениями индустрии, чем наоборот.

Мне думается, что сейчас если не лидерство, то по крайней мере равноправное участие к академической среде возвращается, но уже на других условиях – коллаборативного партнерства. И это хорошо подтверждается на примере факультета компьютерных наук ВШЭ, который был создан и развивается в тесном сотрудничестве с «Яндексом».