Машинное обучение

Искусственный интеллект и машинное обучение сегодня стали настоящей притчей во языцех. Эти технологии имитируют работу человеческого разума, помогая повышать эффективность бизнеса. А для компаний, вступающих на путь цифровой трансформации, искусственный интеллект считается краеугольным камнем новых сервисов, помогающих привлекать клиентов.

Предприятия общественного питания, розничная торговля и авиакомпании внедряют чатботов, способных общаться с клиентами так, как это делают живые сотрудники. По заявлениям IBM, платформа искусственного интеллекта Watson поможет вылечить рак (пока, впрочем, особых успехов нет, если судить по сообщениям в СМИ). Гигант сельскохозяйственного машиностроения Deere & Company приобрел за 305 млн долл. стартап Blue River Technologies, выпускающий оборудование для «умной» мелиорации, в котором задействовано машинное обучение. В Uber, невзирая на все юридические скандалы последнего времени, рассказывают о Michelangelo – внутренней платформе искусственного интеллекта в виде сервиса, которая, как заявляют в компании, «демократизирует машинное обучение, делая масштабирование искусственного интеллекта в зависимости от потребностей бизнеса столь же простым, как заказ такси».

Но, как это часто бывает, шумиха так и остается шумихой. В большинстве компаний ожидания очень сильно отличаются от реальности, и это подтверждают свежие данные MIT Sloan Management Review и The Boston Consulting Group, полученные по результатам опроса свыше 3 тыс. руководителей в различных странах мира. Лишь 20% топ-менеджеров сообщили, что в их компаниях внедрили какие-либо средства искусственного интеллекта, и меньше чем у 39% есть конкретная соответствующая стратегия. При этом 85% руководителей убеждены в том, что искусственный интеллект поможет их компаниям приобрести или сохранить конкурентное преимущество.

Некоторые ИТ-директора пытаются внутри своих компаний заниматься разработкой решений на основе искусственного интеллекта и машинного обучения и даже патентуют подобные изобретения. CIO.com расспросил таких ИТ-руководителей о том, как именно в их компаниях используется машинное обучение.

Ставка на углубленный анализ клиентуры

Как и все крупные банки, U.S. Bank собрал обширный объем данных по клиентам, но сведения, представляющие практическую ценность, из этой информации извлекать не удавалось. Последние несколько месяцев в ИТ-службе прикладывают все силы к тому, чтобы изменить ситуацию. Внедрена платформа машинного обучения Einstein компании Salesforce.com, чтобы сделать услуги доступными для юридических и физических лиц.

Скажем, если клиент заходил на сайт банка в поисках информации об ипотечном кредитовании, то, когда он в следующий раз зайдет в один из филиалов, сотрудник банка сможет обратиться к нему с заманчивым предложением. Кроме того, технология помогает обнаруживать закономерности, не всегда заметные людям. Например, Einstein может порекомендовать, чтобы сотрудник позвонил потенциальному клиенту в четверг с 10 утра до полудня, поскольку в это время он с большей вероятностью поднимет трубку.

Похожие возможности сегодня пытаются реализовать во многих организациях сферы финансовых услуг – получив исчерпывающий обзор клиентов, можно предлагать нужные им услуги в подходящие моменты.

Совет: запаситесь терпением и приступите к освоению машинного обучения и искусственного интеллекта – начните с изучения и тестирования. Будьте готовы расширить масштаб систем, доказавших свою работоспособность. Всегда ориентируйтесь на клиента, задаваясь вопросом, какую пользу ему принесет то или иное новшество.

Машинное обучение избавляет от рутины

В компании Mastercard заявляют, что машинное обучение «сегодня лежит в основе всей ее деятельности». В компании новые технологии используют для автоматизации «рутинного труда, чтобы освободить людей для выполнения продуктивной работы, приносящей реальную пользу».

В компании также пользуются средствами машинного обучения, помогающими оптимизировать изменения ассортимента продуктов и услуг. Например, система такого рода помогает определить, какие изменения будут наименее рискованными, а какие нуждаются в дополнительном анализе. Кроме того, технологии машинного обучения применяются в системе безопасности, предупреждающей о попытках взлома; как только обнаружено подозрительное поведение, срабатывают «предохранители», защищающие сеть. Обнаруживать мошеннические действия помогает самообучаемый механизм ранжирования транзакций, который, отслеживая каждую операцию, обновляет данные и указывает (в баллах) насколько велика вероятность проблем.

При этом средства искусственного интеллекта и машинного обучения – это лишь часть обширного инструментария оператора системы обработки платежей.

Совет: хотя сегодня уже доступен широкий выбор средств, основанных на новых технологиях, ИТ-директорам не стоит рассчитывать на то, что эти средства волшебным образом решат все проблемы их бизнеса.

Искусственный интеллект как фактор развития продуктов и бизнеса

В Adobe Systems идет перестройка ИТ-департамента согласно новой операционной модели, основанной на данных. Для получения знаний, помогающих оптимизировать управление ИТ-отделом и бизнесом в целом, используется аналитика Hadoop. В рамках новой стратегии ведутся эксперименты со средствами машинного обучения, используемыми при анализе заявок в службу поддержки, чтобы потом выявить тенденции системных сбоев. По замыслу, система, заметив события, указывающие на вероятность отказа, оповещает об этом, и тогда можно заранее принять меры, чтобы предотвратить аварию или ослабить последствия.

Выявление закономерностей, приводящих к отказам ИТ-сервисов, также позволит Adobe проводить «самолечение», чтобы перенести на автоматику часть обязанностей, сейчас выполняемых ИТ-персоналом. Изучаются технологии чатботов, которым предполагается поручить прием заявок от сотрудников на техническую поддержку. Внедряют искусственный интеллект и в подразделении Adobe по работе с коммерческими клиентами. Уже почти год развивается Sensei, система искусственного интеллекта, которая используется для управления документооборотом, а также в системах мониторинга и анализа производительности веб- и мобильных приложений компании.

Совет: использование машинного обучения для идентификации закономерностей – ключ к реализации возможностей «самолечения». Зная, как именно можно исправить проблему, вы можете поручить это сделать автоматике, избавив от такой необходимости людей.

– Clint Boulton. 3 machine learning success stories: An inside look. CIO. SEP 19, 2017

Термин «машинное обучение», скорее всего, встречался вам не раз. Хотя его нередко используют как синоним искусственного интеллекта, на самом деле машинное обучение – это один из его элементов. При этом оба понятия родились в Массачусетском технологическом институте в конце 1950-х годов.

Сегодня вы сталкиваетесь с машинным обучением каждый день, хотя, возможно, и не знаете этого. Голосовые помощники Siri и Google, распознавание лиц в Facebook и Windows 10, рекомендации в Amazon, технологии, не позволяющие автомобилям-роботам натыкаться на препятствия, созданы благодаря прогрессу машинного обучения.

До человеческого мозга системам машинного обучения еще очень далеко, но они уже имеют в активе впечатляющие достижения – например, победу над людьми в шахматах, настольной игре го и покере.

В последние несколько лет развитие машинного обучения получило резкий толчок благодаря ряду технологических прорывов, росту доступной вычислительной мощности и изобилию учебных данных.

Самообучающееся программное обеспечение

Так что же такое машинное обучение? Начнем с того, чем оно не является. Это не обычные компьютерные программы, написанные вручную.

В отличие от традиционного ПО, которое прекрасно справляется с выполнением инструкций, но не способно к импровизации, системы машинного обучения по сути программируют сами себя, самостоятельно разрабатывая инструкции путем обобщения известных сведений.

Классический пример – распознавание образов. Покажите системе машинного обучения достаточное количество снимков собак с пометкой «собака», а также кошек, деревьев и других объектов, помеченных «не собака», и она со временем начнет хорошо отличать собак. И для этого ей не нужно будет объяснять, как именно те выглядят.

Спам-фильтр в вашей почтовой программе – хороший пример машинного обучения в действии. После обработки сотен миллионов образцов нежелательных и нужных сообщений система обучается выделять типичные признаки спамерских писем. Она справляется с этим не идеально, но довольно эффективно.

Обучение с учителем и без

Упомянутый вид машинного обучения называется обучением с учителем. Это значит, что кто-то познакомил алгоритм с огромным объемом учебных данных, просматривая результаты и корректируя настройки до тех пор, пока не была достигнута нужная точность классификации данных, которые система еще не «видела». Это то же самое, что нажимать кнопку «не спам» в почтовой программе, когда фильтр случайно перехватывает нужное вам сообщение. Чем чаще вы это делаете, тем точнее становится фильтр.

Типичные задачи обучения с учителем – классификация и прогнозирование (или регрессионный анализ). Распознавание спама и образов – задачи классификации, а прогнозирование котировок акций – классический пример регрессии.

При обучении без учителя система просматривает гигантские объемы данных, запоминая, как выглядят «нормальные» данные, чтобы получить возможность распознавать аномалии и скрытые закономерности. Обучение без учителя полезно, когда вы точно не знаете, что именно ищете, – в этом случае систему можно заставить вам помочь.

Системы обучения без учителя могут обнаруживать закономерности в огромных объемах данных гораздо быстрее, чем люди. Именно поэтому банки используют их для выявления мошеннических операций, маркетологи – для идентификации клиентов со схожими атрибутами, а ПО безопасности – для распознавания вредоносной активности в сети.

Примеры задач обучения без учителя – кластеризация и поиск правил ассоциации. Первая применяется, в частности, для сегментации клиентов, а на поиске правил ассоциации основаны механизмы выдачи рекомендаций.

Ограничения машинного обучения

Каждая система машинного обучения создает собственную схему связей, представляя собой нечто вроде «черного ящика». Вы не сможете путем инженерного анализа выяснить, как именно выполняется классификация, но это и не имеет значения, главное, чтобы работало.

Однако система машинного обучения хороша лишь настолько, насколько точны учебные данные: если подать ей на вход «мусор», то и результат будет соответствующим. При неправильном обучении или слишком малом размере обучающей выборки алгоритм может выдавать неверные результаты.

HP попала в неприятную ситуацию в 2009 году, когда система идентификации лиц для веб-камеры на ноутбуке HP MediaSmart оказалась неспособной распознавать лица афроамериканцев. А в июне 2015 года некачественный алгоритм сервиса Google Photos назвал двух черных американцев «гориллами».

Еще один пример – печально знаменитый Twitter-бот Microsoft Tay, с которым в 2016 году поставили эксперимент: тогда попытались выяснить, сможет ли искусственный интеллект «притвориться» человеком, обучившись на реальных сообщениях от людей. Меньше чем за день тролли в Twitter превратили Tay в отъявленного ксенофоба – вот вам типичный пример испорченных учебных данных.

Итак, несмотря на весь шум вокруг искусственного интеллекта, не будет преувеличением сказать, что машинное обучение и связанные технологии действительно меняют мир вокруг нас, причем настолько быстро, что, того и гляди, машины обретут полное самосознание.

– Dan Tynan. What is machine learning? Software derived from data. InfoWorld. August 9, 2017

«Газпром нефть» будет пользоваться искусственным интеллектом «Яндекса»

«Газпром нефть» и «Яндекс» заключили соглашение о сотрудничестве при реализации перспективных проектов в нефтегазовой сфере. Используя технологии Больших Данных, машинного обучения и искусственного интеллекта, компании планируют вести бурение скважин, осуществлять моделирование технологических процессов нефтепереработки, оптимизировать другие производственные процессы.

Математические модели сегодня помогают рекрутерам и заменяют их, а в перспективе будут работать лучше людей.

В чем прелесть цифрового бизнеса? Создаваемые в компании инструменты работы с данными можно использовать для оптимизации внутренних процессов, для совершенствования продуктов и улучшения взаимодействия с заказчиками, а также предоставлять клиентам в виде сервисов.

Рекрутмент – благодатная сфера такого комплексного применения цифрового инструментария. О том, как машинное обучение помогает решать простые, но крайне трудоемкие задачи рекрутинга, директор по развитию компании HeadHunter Борис Вольфсон рассказал на VI Российском форуме Big Data 2017, организованном издательством «Открытые системы». По его словам, математические модели сегодня помогают рекрутерам и заменяют их, а в перспективе будут работать лучше людей.

Опыт рекрутеров может также пригодиться в других отраслях специалистам, отвечающим за цифровизацию бизнеса и работу с данными.

Технология, сберегающая время

Первая задача, которую в HeadHunter решили с помощью технологий машинного обучения, – ранжирование откликов на опубликованные вакансии. Чтобы понять, кого приглашать на интервью, HR-специалисты тратят очень много времени, оно уходит в основном на разбор резюме и составление списка для собеседования. Особенно обильно поступают нерелевантные отклики на самые привлекательные вакансии с высокой зарплатой. На следующий этап отбора HR таких соискателей не пропускает, но их отсев обходится рекрутинговой компании в несколько сотен миллионов рублей в год.

Оценивая резюме на этом этапе, рекрутер обычно обращает внимание всего на пять-десять основных критериев. Однако, когда список критериев определяется экспертами и базируется на их опыте, а не на данных, всегда есть риск упустить что-то важное. Например, известны случаи, когда самыми хорошими работниками оказываются бывшие заключенные. Кроме того, при отборе по формальным признакам отсекаются вакансии с зарплатой в 99 тыс. руб., если соискатель установил планку от 100 тыс. руб.

В системе машинного обучения для оценки резюме используются сотни критериев. При этом список критериев составляется программой, которой исследователь данных (data scientist) дает задание посмотреть, например, насколько значима для человека разница между зарплатными ожиданиями и зарплатной вилкой в вакансии либо насколько точно текст резюме должен соответствовать тексту вакансии.

Для обучения системы в компании использовали выборку, насчитывающую около 200 млн соискателей и вакансий. На основе уже имеющихся данных о том, каких кандидатов в итоге пригласили на собеседование, система машинного обучения строит «лес» из сотен тысяч «деревьев» решений и с минимальной погрешностью вычисляет среднюю оценку кандидата. Для этого используется градиентный бустинг (gradient boosting) – простой стандартный подход, позволяющий за несколько недель сделать модель, работающую в промышленном масштабе. Полученные модели «весят» около 100 Гбайт, так что, строго говоря, эту работу нельзя назвать анализом Больших Данных, отметил Вольфсон, но при этом данные для рекрутмента требуют быстрой обработки и выдачи результатов в режиме онлайн или близком к нему.

Для HR-специалиста система выглядит как кнопка сортировки кандидатов в его рабочем интерфейсе, с ее помощью поднимаются вверх те соискатели, которые с большей вероятностью будут приглашены на собеседование. Эта функция весьма ощутимо экономит время кадровиков. Возможно, подобный инструмент будет полезен и в ИТ-инфрастуктуре кадровых служб крупных предприятий.

Машинным обучением и поиском в HeadHunter занимается команда из десяти человек. Технологически в компании предпочитают опираться на решения open source, используя Linux-системы c веб-интерфейсом и базы данных PostgreSQL. Бэк-офисные системы написаны на языке Java, а функционал фронт-энд-систем – на Python. В качестве основы машинного обучения применяется набор библиотек Boost.

Прескрининг и модерация: вкалывают роботы

Вторая проблема, с которой помогает справиться система машинного обучения, – плохо или не полностью заполненные резюме соискателей. Качество заполнения резюме нужно контролировать на самом верху «воронки» подбора, поэтому все резюме на сайте HeadHunter проходят ручную модерацию – проверку на соответствие определенным критериям. С каждым годом количество резюме растет (сейчас их около 25 млн), соответственно, растут и затраты на каналы связи, серверы и модераторов. Можно ли здесь сэкономить? Можно, если использовать машинное обучение и заменить оператора на систему, которая сможет оценить качество резюме.

Чтобы научить систему подтверждать наиболее качественно заполненные резюме, использовалась выборка, включающая почти 40 млн отмодерированных резюме, в том числе отклоненных. Теперь система способна повторять действия модераторов на основании полей в резюме. Например, проверять соответствие должности, на которую претендует кандидат, профессиональным областям, указанным в его резюме. «Чтобы качество базы не упало с запуском сервиса, мы выбрали пороговые уровни полноты и точности контроля, которые соответствуют действиям человека», – сообщил Вольфсон.

Робот-модератор проверяет все новые резюме, и если он их относит к самым качественным, то они подтверждаются автоматически. Операторам направляются лишь резюме, оставшиеся неподтвержденными. Как утверждает Вольфсон, качество модерации, выполненной роботом, неотличимо от качества той, что выполнена человеком, а потому в результате внедрения этого сервиса несколько операторов, занимавшихся этой работой, освободились.

Машина ищет работу

Борис Вольфсон, директор по развитию HeadHunter: «Использование машинного обучения дает хороший эффект в рекрутинге: целевые метрики вырастают в среднем на десятки процентов»

Еще один вариант применения машинного обучения в HeadHunter связан с нуждами тех, кто ищет работу. «Стратегически мы стараемся балансировать интересы соискателя и работодателя», – отметил Вольфсон.

Вакансии, которые могут заинтересовать соискателя, традиционно подбираются с помощью фильтров по параметрам резюме: зарплата, профессиональная область, регион и т. д. В HeadHunter эту функцию выполняет рекомендательный сервис на основе машинного обучения. Имеющиеся в базе 350 тыс. открытых вакансий проходят три стадии обработки: два фильтра и ранжирующую модель.

Базовый эвристический фильтр, составленный вручную, нацелен на максимальное сокращение выборки по двум параметрам – региону и профессиональной области, при этом сохраняется большая доля интересных вакансий. Следом в дело вступает система машинного обучения. Быстрая фильтрующая модель отсекает большую часть совсем неподходящих вакансий, используя небольшое число признаков. И наконец, сложная ранжирующая модель, обученная на полном наборе признаков (всего их около 200), сортирует вакансии в полученном после фильтрации списке, выводя наверх самые подходящие для человека. Отобранные вакансии показываются соискателю на главной странице, на странице с рекомендуемыми вакансиями в списке резюме или в рассылках с подходящими вакансиями.

По словам Вольфсона, новая система подбора вакансий по резюме на основе машинного обучения на десятки процентов улучшила основной показатель результативности подбора – долю успешных поисковых сессий у пользователей этого функционала.

На горизонте – «умный» поиск

Использование машинного обучения дает хороший эффект в рекрутинге, резюмировал Вольфсон, целевые метрики вырастают в среднем на десятки процентов, а отдельные текущие задачи дают порядка тысячи дополнительных откликов в неделю. По его мнению, в ближайшем будущем благодаря экономии времени рекрутеров эффективность подбора персонала повысится, а скорость поиска работы для соискателей увеличится.

«Мы все периодически выходим на рынок труда, и этот нервный и не очень приятный период – время поиска работы – должен сильно сократиться», – полагает Вольфсон. Через два-три года, по прогнозам HeadHunter, подбирать сотрудников и искать работу будут сложные ансамбли систем машинного обучения, а участие человека в этих процессах будет уменьшаться. Оценка персонала тоже будет основываться на данных.

Впрочем, место для людей обязательно останется – для стратегических решений и оптимизации процессов, но в целом требования к рекрутерам возрастут. «Точно не останется места для тех, кто не умеет работать с такими системами, не понимает и не умеет использовать предсказания, которые дают эффективные модели», – подчеркнул Вольфсон. Для соискателей, напротив, требования к написанию длинных обстоятельных резюме снизятся, умные системы будут решать за них часть вопросов.

Научившись ранжировать отклики, модерировать резюме и строить рекомендательные системы, HeadHunter готовится перейти к следующему этапу – к «умному» поиску на основе машинного обучения и созданию «своего маленького “Яндекса”». «Мы хотим, чтобы наш поиск тоже использовал машинное обучение, и в ближайшее время планируем запустить несколько проектов, ориентированных на эту задачу, – сообщил Вольфсон. – Это наша ключевая компетенция, ее нельзя отдавать на аутсорсинг».

В компании планируют также поэкспериментировать с обогащением данных, используемых для машинного обучения, с помощью открытых профилей в соцсетях, хотя таких профилей, по словам Вольфсона, очень мало.

По схожему пути сегодня идут и в банках, и в страховых компаниях, и в других отраслях. Можно ожидать, что в скором времени появится много новых интересных работающих вариантов применения машинного обучения.

Аптечная сеть «Ригла» динамично развивается. Чтобы не сбавлять высокие темпы роста и сохранить устойчивость, руководство крайне внимательно относится к эффективности бизнеса. В ИТ-стратегии компании важное место занимают аутсорсинг и оптимизация: два из трех ИТ-проектов, осуществленных в 2016 году, нацелены на совершенствование бизнес-процессов. «Жизнь меняется настолько быстро, что иногда речь идет даже не о том, чтобы быть инновационными, а о том, чтобы просто не отстать от тенденций в технологиях и коммуникациях. Выигрывать на рынке будут компании, которые сумеют обеспечить себя эффективным менеджментом и технологиями», – говорит генеральный директор «Риглы» Александр Филиппов.

Однако в цифровую эпоху эффективность без инноваций невозможна, и в очередном проекте «Ригла» поставила задачу качественно изменить один из ключевых для развития бизнеса процессов – выбор места расположения новых аптек. Первые шаги уже сделаны.

Оценивая влияние цифровой трансформации на фармацевтическую розницу, заместитель генерального директора по информационным технологиям «Риглы» Вадим Горбунов акцентировал внимание на возможностях технологии Больших Данных: «Появление больших объемов данных и новых способов их обработки позволяет делать ранее невообразимые вещи. Для бизнеса – это повышение производительности и снижение риска инвестиций, для клиента – более комфортный и понятный сервис».

«Хребет» управления

В 2016 году в «Ригле» завершили длительный проект по замене системы бюджетирования и отчетности, которую в компании называют «хребтом» автоматизации управления. Сеть работает под тремя брендами: «Ригла», «Живика» и «Будь здоров!», – что означает три формата торговли и три модели покупателя. Руководству необходимы данные в трех разрезах для принятия решений и постоянного отслеживания уровня рентабельности большого хозяйства. Чтобы максимально оптимизировать результат бюджетирования, требуется четко планировать доходы и расходы, а также сбалансировать все части системы управления: маркетинг, отношения с поставщиками, планирование финансов и открытие новых точек. Нарушение баланса в любой из частей оборачивается неэффективным расходованием капитала.

«Бизнес меняется быстро, и время имеет все большую ценность. Если задуманное воплощать долго, оно устареет, не успев родиться» Вадим Горбунов, заместитель гендиректора по ИТ аптечной сети «Ригла»

Бурный рост объемов информации и правил бюджетирования, связанный с региональной экспансией, привел к тому, что процесс составления стратегического бюджета стал, по словам Филиппова, «мучительно болезненным» и слишком ресурсоемким. Поэтому вместе с системным интегратором Navicon «Ригла» перешла с системы на платформе «1С» на комбинацию решений IBM Cognos TM1 и Microsoft Dynamics NAV. Бюджет 2016 года верстался уже в новой системе. Как рассказал Горбунов, не все прошло гладко: недостаточно зрелые методики внедрения программного обеспечения в сочетании с многоплановыми запросами руководителей компании привели к значительному отклонению от планируемого срока реализации.

Но в итоге благодаря автоматизации бюджетирования появилась возможность с высокой скоростью получать более точные данные во множестве разрезов представленной информации. По той же методике и в тех же разрезах был выстроен финансовый учет, удалось серьезно уменьшить сроки подготовки отчетности и одновременно сократить персонал, который занимается ее формированием.

Теперь в «Ригле» планируют развивать систему, повышая точность и надежность, что позволит менеджменту реализовывать новые задачи. «Есть вещи, без которых нельзя “дышать” сегодня и без которых нельзя будет “дышать” завтра», – говорит Филиппов. По его мнению, автоматизация бюджетирования – это то, без чего компания не смогла бы выжить. А главными заботами завтрашнего дня станут программа лояльности и подготовка аптек к персонализированным отношениям с клиентами.

«Симфония» остатков

Наблюдения за ростом оборачиваемости товарных запасов у конкурентов подтолкнули организацию к поиску эффективного инструмента для планирования потребности в товарах и поставках. Управление снабжением «Риглы» было автоматизировано несколько лет назад на базе программного обеспечения собственной разработки. С тех пор ИТ-стратегия претерпела изменения, сегодня компания интенсивно использует аутсорсинг и стремится покупать эффективные и зарекомендовавшие себя на рынке решения, а также стандартные услуги требуемого качества: техподдержки, веб-разработки, продвижения сайтов, разработки решений для ЦОД. «Наша функция – собрать это вместе и обеспечить результат, – говорит Горбунов. – Нет времени разрабатывать все самостоятельно при таком бурном росте бизнеса. Важно найти ценное, быстро инкорпорировать в нашу систему и получить отдачу».

Одной из находок оказалась платформа Symphony компании Inherent Symplicity.

В организации такого масштаба, как «Ригла», любое неверное движение в управлении снабжением серьезно сказывается на качестве товарных остатков. В фармацевтической рознице стремятся не допускать ситуации, определяемой специфическим термином «дефектура»: когда клиент пришел, а товар закончился. Дефектура измеряется в проценте потерянных потенциальных продаж. Снижать такой процент, увеличивая товарные запасы, нецелесообразно: в масштабе сети это выливается в немалую сумму, которую выгоднее потратить на открытие новых точек или инвестировать в новые проекты. Symphony, которая позволяет прогнозировать продажи каждой аптеки по всему ассортименту и избегать дефектуры, оставляя при этом минимальный товарный запас, помогла найти баланс между уровнем сервиса и размером товарных запасов. Убедившись за три месяца пилотного проекта в том, что поставленные менеджментом финансовые цели достижимы, за полгода систему развернули по всей сети – c апреля 2016 года снабжением аптек «Ригла» управляют с помощью Symphony.

В результате компания добилась сокращения товарных запасов в среднем на 25%, при этом доступность товара для покупателей повысилась. По оценке руководителей «Риглы», это может покрыть годовые затраты на открытие всех новых аптек. Количество сотрудников, формирующих заказы, сократилось до трех человек на всю сеть. Затраты на приобретение системы окупились за три месяца.

Самым сложным в проекте было поверить в его целесообразность и убедить в этом других участников процесса, отметил Горбунов. «Важно, чтобы в проекте работали люди, которым это нужнее других, те, кто доведет работу до логического конца», – добавил Филиппов.

Многофакторный анализ против экспертных ошибок

Идею «калькулятора», который покажет гендиректору, как будет работать новая точка, в компании вынашивали давно. Место расположения аптеки – один из ключевых факторов, влияющих на объем продаж. Открывая ежегодно сотни новых аптек, менеджмент «Риглы» отбраковывает тысячи вариантов их расположения. В каждом случае требуется учесть множество параметров окружения потенциальной торговой точки: магазины, конкурентов, инфраструктуру. Перспективность новой аптеки оценивают эксперты. Если после заключения долгосрочного договора аренды точка работает не так, как ожидалось, промах дорого обходится бизнесу.

Готовых решений не нашлось. По словам Горбунова, Data Mining и BI только «гаечные ключи», помогающие собрать необходимый механизм. Программное обеспечение создали на базовых технологиях с использованием собственных методики и архитектуры в сотрудничестве с несколькими российскими партнерами по веб-программированию и машинному обучению. Подробности в «Ригле» не раскрывают.

Для анализа бизнес-среды было решено реализовать три идеи. Во-первых, собрать максимально полную информацию об окружении потенциальной аптеки еще до того, как сделан первый шаг к аренде площади. Сведя данные, собранные из Интернета, баз данных и маркетинговых агентств, получили доступность информации в момент анализа и принятия решения руководителем.

Во-вторых, систематизировать эту и дополнительную информацию, собираемую на месте – при переговорах с собственником об условиях аренды и при изучении вопроса, сможет ли аптека привлечь ожидаемый поток посетителей. Программное обеспечение позволило поставить требования бизнеса на системную основу так, чтобы специалисты на месте сразу собирали необходимую информацию. Решение выполнили в виде мобильного приложения, заполняя формы которого, эксперты передают данные в центральную систему.

И наконец, третья идея заключалась в поддержке принятия решения на основе собранной информации и использования нескольких независимых алгоритмов ее обработки. В модель «калькулятора» заложили расчет коэффициентов конвертации трафика в число покупателей и включили не только статистику по сети «Ригла», но и множество других наборов данных: потребление лекарств на душу населения, число жителей в близлежащих домах, арендные ставки и даже правила оформления витрин на конкретной улице, которые могут существенно повлиять на объем продаж. Количество факторов, включаемых в модель, приближается к тысяче, сообщил Горбунов. Плотную статистику по такому количеству факторов собрать крайне сложно, так что применить классический подход, измеряя влияние каждого фактора на результат, не получается. Поэтому для выявления зависимостей используются методы машинного обучения, и степень влияния каждого фактора на выручку определяется с помощью нескольких независимых алгоритмов.

«Есть вещи, без которых нельзя “дышать” сегодня и без которых нельзя будет “дышать” завтра» Александр Филиппов, генеральный директор аптечной сети «Ригла»

Исходя из расчетной емкости рынка и примерной доли расходов на лекарства от чека в магазине, ПО ищет схожие по количеству касс, ценовому позиционированию или регионам аптеки и дает прогноз выручки.

Построение модели и сбор данных были самыми сложными задачами в этом проекте, так как далеко не по всем факторам имеется релевантная информация. Данные еще только предстоит накопить, это займет несколько лет. Одновременно произойдет и «тюнинг» модели.

Теперь руководитель располагает более развернутой информацией для принятия решения об открытии новой аптеки и понимает, что предпринять, чтобы аптека оправдала ожидания бизнеса.

«Калькулятор» позволяет уменьшить ошибки в оценке потенциальной выручки, в том числе и ее недооценку. Ведь если продажи резко превосходят ожидаемые, то это значит, что при планировании неправильно учтены требуемая площадь и объем персонала, а следовательно, аптека могла бы приносить больше.

Движение к поставленной цели – повысить точность прогнозирования на 30% – пока только началось, диапазон ошибочных решений сузился, но не очень значительно. Тем не менее после внедрения нормативов, встраиваемых в систему, уже удалось добиться более точного прогнозирования расходов.

Оценив полезность нового инструмента, в компании приняли решение о его тиражировании. После Москвы и Санкт-Петербурга ПО распространят еще на восемь регионов.

В дальнейшем «Ригла» намерена перейти от оценки предложения свободных помещений на рынке к выбору тех мест, где компания хочет присутствовать. Сначала ПО будет вычислять наиболее выгодное местоположение аптеки, и только потом за ним начнут «охотиться».

«В подобных проектах важна четко поставленная и измеримая цель», – подчеркнул Горбунов. Кроме того, в «длинных» проектах следует больше делать акцент на контроле сроков, чем на полноте функциональности. «Бизнес меняется быстро, и время имеет все большую ценность, – отметил Горбунов. – Если задуманное воплощать долго, оно устареет, не успев родиться».

Машинное обучение стало очередной модой в бизнес-технологиях, но о специфике его применения нередко забывают.

«Основная проблема заключается в том, что наука о данных, как ни крути, является наукой, а бизнес не очень-то хорошо приспособлен использовать научные методы при принятии решений», – считает Евгения Завалишина, генеральный директор компании Yandex Data Factory, которая специализируется на машинном обучении и анализу данных.

Этот проект родился в недрах технологической компании «Яндекс» — оператора крупнейшего в России поисковика. В декабре 2014 года в «Яндексе» решили развивать направление наук о данных (Data Science), поддерживавшее их флагманский продукт, и приступили к разработке сервисов машинного обучения для отраслевых приложений.

Новая компания выделилась из «Яндекса» в конце 2014 года. Сервисы машинного обучения и иссдедования данных используются в YDF для создания прогнозных моделей при организации целевых рекламных кампаний, расчете оптимальных складских запасов для магазинов и т.д.

«Поручая своим сотрудникам какую-то работу, вы обычно рассчитываете получить ожидаемый результат, – отметила Завалишина. – Но с исследователями данных работа строится по-другому, потому что в науке о данных нельзя ожидать гарантированных результатов».

Отрицательный результат может оказаться вполне нормальным итогом любого проекта в области исследования данных, и бизнес-менеджерам необходимо это учитывать.

Логика выше интуиции

Работа с исследователями данных требует особого подхода к бизнесу, в котором логика ставится выше интуиции. Другими словами, все зависит от фактов и логических заключений из них.

Ставить исследователям данных задачи, которые они искренне считают бессмысленными, фактически бесполезно.

«Они воспринимают такие задачи как деление на ноль, не имеющее смысла, – поясняет Завалишина. – И вы просто не в состоянии заставить их делать это, не можете мотивировать людей делить на ноль. Им начинает казаться, что вы идиот, а это не отнюдь не способствует укреплению производственных отношений».

Нужно, чтобы исследователи поверили в то, что его реализация имеет смысл. При попытке улучшить систему с помощью машинного обучения им нужно иметь достаточный объем данных для получения осмысленных результатов.

«Многие решения в бизнесе принимаются интуитивно, поэтому в обычной ситуации измерять все нет необходимости, – добавил исполнительный директор YDF Александр Хайтин. – Но когда речь идет о проекте, в который вовлечены исследователи данных, нельзя просто указать им: 'Делайте так-то и так-то, у меня есть ощущение, что это должно получиться'. Подобный подход не работает».

Правильная постановка вопроса

Модели в предсказательной аналитике строятся на гораздо более сложных по сравнению с традиционными статистическими системами алгоритмах. Порой их сложно объяснить.

В розничной торговле наука о данных зачастую используется для улучшения прогнозирования пополнения запасов при еженедельном оформлении заказов. Результаты могут оказаться просто удивительными, но здесь надо учитывать так много факторов, что сам процесс становится трудноуправляемым.

«Объяснить все это тому, кто не в состоянии оценить сложность данных, просто невозможно, – заметила Завалишина. – А не объяснив, исходя из одного лишь здравого смысла, вы не сможете понять, насколько это хорошо. Нужно четко знать, что именно вы хотите улучшить и как будут оцениваться результаты. Здесь нет места 'свободному творчеству'. Вы должны быть уверены, что точно знаете, что вы хотите улучшить, и как вы измеряете результаты. Такой подход напоминает разговор с математиками: вы получаете ответ в точном соответствии со сформулированным вами вопросом».

Если вопрос был задан неверно, ждать правильного ответа не стоит. И в этом заключается общая проблема, ведь компании зачастую не уделяют достаточного внимания планированию своих целей и оценке их достижения.

«Мы работали с одной крупной розничной компанией, и нас попросили построить модель, которая прогнозировала бы продажи каждого конкретного товара на предстоящую неделю, – вспоминает Завалишина. – Мы попытались проделать это с одним товаром, однако заказчик быстро понял, что использовать результаты такого прогнозирования на практике невозможно».

Модель была точной, но дело в том, что компания заказывала товар в упаковках по шесть единиц, а не по одной. И если на следующей неделе прогнозировалась продажа семи единиц, возникал вопрос: заказывать одну упаковку или две? Может показаться, что разница невелика, но тут начинали появляться ошибки. Модель стала совершенно иной, потому что параметры оптимизации оказались сдвинутыми.

Наука о данных требует тщательного планирования. Компания получила правильный ответ, но ей изначально следовало задать совсем другой вопрос.

Неудачи на пути к успеху

Модель оптимизации складских запасов, предложенная другому розничному продавцу, касалась экзотических и дорогостоящих товаров, которые продавались довольно редко, и с этой точки зрения заказывать их на склад смысла не было вообще. Но абсолютно логичное в математическом отношении решение не всегда годится для бизнеса. Ведь эти позиции играли решающую роль в формировании имиджа магазина и его клиентской базы.

«В процессе реализации вашего первого проекта, связанного с исследованием данных или машинным обучением, вам почти наверняка придется возвращаться назад и переосмысливать основные цели и ключевые параметры», – подчеркнула Завалишина.

Обычно YDF рекомендует своим клиентам начинать с коротких специализированных проектов, чтобы избежать долгосрочных инвестиций в проект, который в конечном итоге может дать результаты, которыми не удастся воспользоваться на практике. Такой подход помогает двигаться вперед поэтапно, постепенно внося необходимые улучшения.

Еще у одной компании имелась собственная система, выявлявшая, каким клиентам направлять те или иные предложения. В YDF посоветовали воспользоваться статистической рекомендательной моделью, в которой алгоритм машинного обучения применялся к случайному срезу клиентской базы. Оставшаяся группа клиентов по-прежнему обрабатывалась с помощью прежней системы, а затем компания сравнивала результаты, рассчитывая уровень конверсии предложений в продажи.

Однако на практиве была выявлена нестыковка, которая заключалась в том, что предложения контрольной группе рассылались в пятницу, а экспериментальной группе – в выходные. А разные шаблоны поведения в разное время делали любое сравнение бессмысленным.

Руководители часто обращаются к YDF с просьбой организовать на их предприятиях курсы машинного обучения и ознакомления с наукой о данных, позволяющие понять, какую выгоду организация может извлечь из этих технологий.

«Обычно мы отказываем в таких запросах, потому что не видим смысла в подобном обучении, – призналась Завалишина. – Подготовить собственных исследователей данных все равно не удастся, и курсы клиентам тут не помогут. Если вы хотите применять соответствующие технологии в своей работе, нужно изучать научные методы и использовать их. Для того чтобы технология приносила результаты, бизнесу необходимо прививать более научный подход».

Поправка на неопределенность

Бизнесу следует впитывать в себя научную культуру. Отрицательные результаты еще не означают, что работа провалена — они лишь свидетельствуют о том, что оптимизация не завершена.

Еще один важный момент связан с зонами ответственности в корпоративной культуре. Однажды в YDF обратился клиент, желающий оптимизировать свои рекламные расходы. Разработанный по его заказу алгоритм обещал тот же уровень отклика при сокращении затрат на 20%.

Однако полученные итоги породили больше вопросов, чем достижений. Дело в том, что бонусы персоналу, отвечавшему за проект, выплачивались за составление планов и принятие решений, обеспечивавших оптимизацию результатов.

«Теперь же у них появилась модель, выдававшая рекомендации и математически доказывавшая, что выполнение этих рекомендаций повлечет за собой улучшение результатов, но проблема заключалась в том, что все это непосредственно входило в их зону ответственности», – пояснила Завалишина.

Проекты, связанные с наукой о данных, предполагают иное распределение сфер ответственности и иные приоритеты по сравнению с теми, что были приняты в бизнесе до сих пор. В нашем случае участникам команды предлагалось внедрить модель, которая привела бы к сокращению их бонусов.

«Использование научного подхода более рационально, но может провоцировать конфликтные ситуации, – отметил Хайтин. – Как минимум, нарушается обычный порядок принятия решений. Эксперт, к примеру, заявляет, что у него появилась идея, и он интуитивно чувствует, что она сработает. У нас же в руках имеется определенный инструмент, который позволяет точно вычислить результат. Это совершенно иная ситуация, и тут нет места интуиции».

Вот еще один пример. Специалисты YDF совместно с крупным сталелитейным предприятием работать над оптимизацией соотношения материалов, используемых в производственном цикле. Увеличение доли определенной добавки улучшало качество, но одновременно приводило к удорожанию конечной продукции.

Опираясь на статистические данные для построения точной модели наилучшего сбалансирования качества и стоимости, в YDF остановились на составе, предлагавшемся алгоритмом машинного обучения.

«Но часто такие рецепты не имеют смысла, – призналась Завалишина. – Взглянув на них, представитель заказчика утверждает, что они неприемлемы. Выбирается другой вариант. С одной стороны, вы проводите оптимизацию, а с другой — вам приходится считаться с предпочтениями экспертов. Они же, как правило, отвергают 80% ваших рекомендаций. Мы разработали другое решение, которое анализировало вероятность принятия заказчиком предложенного состава. Дальнейшая работа делала его чуть менее оптимальным с математической точки зрения, но повышала вероятность его принятия человеком».

Нас все чаще пугают тем, что искусственный интеллект вполне способен уничтожить человечество, однако пока именно союз человека и инструментов машинного обучения составляет основу того, что называют наукой о данных.

- Tom Macaulay. How to use data scientists and machine learning in the enterprise. Computerworld UK. MAR 23, 2017 

- Какие области бизнеса наиболее подвержены нашествию искусственного интеллекта? Где в ближайшее время стоит ожидать кардинальных перемен?

Тема искусственного интеллекта сейчас, безусловно, крайне популярна, но довольно часто соответствующие термины не совсем корректно используются. Например, нередко смешиваются ИИ и машинное обучение. Под ИИ, как правило, понимается способность компьютерных систем выполнять задачи, которые обычно требуют привлечения человеческого разума. Методы машинного обучения по большей части основаны на методах математической статистики и часто применяются для предварительной обработки данных более продвинутыми самообучающимися системами, например нейросетями. Машинное обучение, наряду с ИИ, является одной из составляющих когнитивной науки, поэтому, чтобы избежать двусмысленности, лучше взять обобщающий термин «когнитивные технологии».

Практически все области бизнеса могут выиграть от внедрения когнитивных технологий, и особенно это касается крупных компаний с большим количеством клиентов. Одними из наиболее активных потребителей являются банки, они используют методы идентификации мошенничества с банковскими картами, системы распознавания речи для автоматизации работы службы поддержки клиентов и для идентификации клиентов. Ретейлеры, в том числе занимающиеся электронной коммерцией, довольно агрессивно применяют эти технологии для маркетинга и проведения промоакций. В медицине, особенно в США, применяются системы распознавания речи, которые трансформируют надиктованные врачами на диктофон записи в электронные.

Весьма показателен пример такого полноценного ИИ, как система поддержки принятия решений в онкологии IBM Watson. Широкое распространение носимых устройств – «умных» часов, браслетов и фитнес-трекеров – и сопряжение генерируемых ими данных с системами типа Watson позволит вывести медицину на принципиально новый уровень благодаря персонализированному подходу.

Фарминдустрия использует когнитивные технологии для разработки новых лекарств. Нефтегазовая отрасль применяет технологии, позволяющие производить геологическую разведку. Наконец, наступает Индустрия 4.0 – с приходом Интернета вещей в промышленности могут произойти серьезные изменения, обусловленные внедрением методов предиктивной аналитики, которые будут просчитывать вероятность выхода из строя того или иного агрегата в технологическом процессе.

- Какие принципы должна соблюдать компания при реализации подобных проектов?

Самый очевидный принцип – это принцип разумности. Надо понимать, какую ценность несет та или иная технология для каждой конкретной компании. Сегодня многое из того, что связано с ИИ и когнитивными технологиями в целом, диктуется маркетингом. Компания, намеревающаяся использовать когнитивные технологии, должна четко понимать, какую бизнес-задачу она хочет решить. Иначе разочарование и финансовые потери от неудачной попытки внедрения могут быть значительными – специалистов в данной области очень мало, а стоимость их услуг довольно высокая.

Не нужно забывать и об экономической эффективности, просчитывая эффект от внедрения наряду со сроком окупаемости. Использование когнитивных технологий неразрывно связано с Большими Данными, которые есть не у всех компаний. Совершенно очевидно, что далеко не всем организациям нужны эти технологии. Но те, кто сумеют извлечь выгоду из их внедрения (например, сократить издержки, снизить себестоимость, оптимизировать свои технологические процессы), безусловно, получат неоспоримые преимущества на рынке по сравнению с конкурентами.

- Массовое использование бизнесом когнитивных технологий – вопрос какого времени?

С ответом на этот вопрос все не так однозначно. Прогнозов много, но они часто основываются не только на фактах, но и на материальной заинтересованности того или иного эксперта. Если посмотреть только на факты, то в принципе можно ожидать массового внедрения когнитивных технологий в ближайшие 5-10 лет. Речь идет о беспилотных автомобилях, замене операторов контакт-центров, бухгалтеров и юристов. Но надо сказать, что все могут испортить близорукие политические решения и человеческие страхи.

Больше времени потребуется на такие масштабные проекты, как массовое использование когнитивных технологий в медицине. Есть масса причин, способных замедлить проникновение этих технологий в здравоохранение. Это и вопросы этики, и безопасность данных, и проблемы психологии.

Отдельно хотелось бы отметить: сфера когнитивных технологий обязательно нуждается в жестком регламентировании того, что человечество готово позволить подобного рода системам, а что – нет. Уже сейчас всем специалистам, работающим в этом направлении, понятно, что наступило время очертить рамки для когнитивных систем ввиду их впечатляющего прогресса.

- Можно ли после нескольких удачных инициатив по автоматизации рутинных процессов ожидать вала подобных проектов со стороны остальных компаний, которые сейчас внимательно следят за рынком?

Проблема кадрового голода существует уже сегодня, и это серьезно сдерживает рынок. Сказать, что специалистов по Большим Данным и когнитивным технологиям мало, – это не сказать ничего. Можно утверждать, что это доли процента от общего числа ИТ-специалистов в мировом масштабе, отсюда и получается высокая их стоимость. Например, при поглощении стартапов, работающих с ИИ, крупные компании выделяют колоссальные суммы – 10-20 млн долл. в пересчете на каждого члена команды. За специалистов мирового уровня в когнитивных технологиях платят столько же, сколько за ведущих футболистов! Человечество наконец-то начинает находить правильные критерии оценки индивидуального вклада отдельно взятой личности во всеобщее благо.

- Насколько серьезна угроза для сотрудников (в том числе занятых интеллектуальным трудом), которые могут попасть в волну автоматизации?

Хотелось бы выделить две категории специалистов, наиболее подверженных риску быть вытесненными когнитивными технологиями. Во-первых, это специалисты низкой и средней квалификации. Здесь когнитивные технологии (в частности, роботы) способны полностью «забрать» некоторые профессии себе. В качестве примера можно назвать водителей или бухгалтеров.

Вторая категория – люди с высокой квалификацией, например инженеры и врачи. В ближайшем будущем заменить полностью людей этих профессий вряд ли удастся, но часть их работы возьмут на себя системы с высокоразвитым интеллектом. Людям же, чтобы оставаться «на плаву», придется значительно повышать свою квалификацию, а основы (причем довольно глубокие) кибернетики придется изучать специалистам самых разных направлений. Инженерное образование станет базовым для многих специальностей. Отдельной категорией пока остаются творческие специальности, но и здесь тоже есть серьезные подвижки: недавняя победа компьютера в покерном турнире и победа над чемпионом мира в игру Го, состоявшаяся чуть раньше.

- А как насчет автоматизации работы ИТ-специалистов?

Рутинную работу, безусловно, возьмут на себя машины. Уже сегодня мы имеем возможность создавать веб-сервисы, в которых большая часть программного кода генерируется автоматически, причем даже без привлечения ИИ. Чтобы оставаться востребованным, каждому человеку придется постоянно повышать свою квалификацию, иначе можно оказаться не у дел.

Приведу пример хорошо мне знакомого французского ИТ-рынка, на котором происходят, на первый взгляд, парадоксальные вещи. Так, биржа труда заявляет о 40 тыс. безработных в области ИТ и телекоммуникаций, причем большинство имеют более 6-10 лет профессионального стажа! С другой стороны, есть тысячи открытых вакансий, на которые компании месяцами ищут сотрудников. Парадокс перестает быть парадоксом, если просмотреть резюме нескольких соискателей: люди предлагают работодателю навыки, полученные в эпоху мэйнфреймовых систем IBM, вместо того чтобы переучиться. Помните «Собачье сердце» Булгакова? «Разруха в головах!» Так и с работой ИТ-специалистов: надо постоянно развиваться.

- Как вы считаете, в каком направлении будут развиваться системы машинного обучения в обозримом будущем?

Очевидный сегодня тренд – это нейросети. Однако для их обучения требуются огромные массивы данных, иначе вероятность ошибки на выходе будет довольно высокой. Крайне интересными являются методы, основанные на полуавтоматическом обучении нейросетей. Эти методы позволяют значительно сократить количество данных, необходимых для обучения.

Также, думаю, все больше будет происходить перемешивание живых и кибернетических систем. Особо интересным направлением является психоэмоциональная сфера. Обучение ИИ эмоциям – задача весьма нетривиальная. Повышенный интерес уже проявляется (и дальше будет только нарастать) к этическим аспектам применения когнитивных технологий в целом.

Вы завалены работой? Это еще цветочки: в нынешнем году забот у ИТ-специалистов станет куда больше, когда широкое применение получат блокчейн, Интернет вещей, а также приложения дополненной и виртуальной реальности.

Интернет вещей – теперь всерьез

Возможно, «год реального запуска рынка Интернета вещей» кто-то все еще считает традиционной отраслевой шуткой, вроде «победы Linux на настольных компьютерах» или «абсолютной защищенности Java». Но, так или иначе, 2017-й действительно способен стать годом, когда маркетинговый ажиотаж вокруг Интернета вещей утихнет, сменившись реальным развитием рынка.

Идея «соединенных» устройств – вещей, которые исторически не имели соединения с Интернетом, а потом обзавелись такой функцией, далеко не нова. Но ее нынешние применения – умные автомобили, дома и радикальная оптимизация управления промышленными процессами – являются по-настоящему революционными, заставляющими поверить, что будущее уже на пороге.

Главной проблемой еще с тех времен, когда Интернет вещей был только замыслом, остается безопасность. Общепринятых стандартов защиты устройств Интернета вещей пока практически нет, хотя кандидатов хоть отбавляй, и производители, похоже, не стараются заботиться о безопасности соединенных вещей, так же как и более традиционных оконечных устройств вроде ноутбуков и смартфонов.

Естественно, безопасность от этого серьезно страдает. Пусть даже взломанное устройство Интернета вещей само по себе большой угрозы не представляет, его весьма просто подключить к огромному ботнету, что недавно продемонстрировали создатели зомби-сети Mirai, в которую объединили цифровые видеорегистраторы, камеры наблюдения и другие слабозащищенные IoT-устройства. Эта армия ботов сумела обеспечить перебои с доступом к Интернету по всем Соединенным Штатам путем атаки на регистратора доменных имен Dyn.

Для предотвращения подобных инцидентов нужно решить непростые задачи, отмечает аналитик Зевс Керравала: «Для защиты IoT необходимы развитые средства контроля сетевого доступа, действующие в режиме реального времени системы слежения за работой приложений, механизмы защищенной аутентификации наподобие PPSK, поддержка детализированных политик безопасности для граничных устройств, а также интегрированные инструменты отчетности и мониторинга».

Аналитики Forrester Research прогнозируют, что в 2017 году будут скомпрометированы более 1,5 млн устройств Интернета вещей.

Интернет вещей – как платформа для множества новых технологий или как инструмент совершения новых разрушительных кибератак – неизбежно «встряхнет» индустрию ИТ.

Читайте далее: Бурное развитие дополненной и виртуальной реальности

«Хрустальный шар» машинного обучения

Раньше главной сложностью для организаций, в которых хотели бы пользоваться технологиями машинного обучения и когнитивных вычислений, была необходимость нанимать ученых по данным с обширным опытом подготовки информации для алгоритмов искусственного интеллекта. Но в последние годы благодаря развитию публичных облаков ситуация стала меняться. Сегодня облачные платформы машинного обучения появились у Amazon Web Services, Google, Microsoft и IBM. В результате барьеры доступа существенно снизились, программистам стало гораздо проще пользоваться технологиями искусственного интеллекта в разрабатываемых приложениях.

Говоря упрощенно, машинное обучение – это прогнозирование будущего на основании закономерностей, обнаруженных в имеющихся данных. Шире всего этот метод применяется для распознавания аномалий в целях защиты от мошенничества, а также для прогнозирования прибылей, текучки покупателей и т. п. Обучив платформу Watson, в IBM обеспечили возможность создавать на ее основе «умные» чатботы для взаимодействия с клиентами и оказания помощи врачам в принятии диагностических решений.

Но пока что освоение машинного обучения находится на раннем этапе: инструментами такого рода пользуются только 8% предприятий, участвовавших в недавнем исследовании Deloitte. Но в Allied Market Research прогнозируют, что среднегодовой рост рынка машинного обучения будет составлять 33% и к 2020 году его объем достигнет 13,7 млрд долл.

Практика алгоритмического разбора данных, выявления закономерностей и принятия решений набирает обороты, отмечают в 451 Research. Рынок начал развиваться благодаря интересу потребителей к платформам вроде Apple Siri и Amazon Echo, но предприятия воспринимают новшество медленнее из-за недостатка осведомленности и отсутствия интеграции новых систем с существующими корпоративными платформами. Со временем, однако, искусственный интеллект сможет стать фундаментом всей аналитической экосистемы предприятия, уверены в 451 Research.

– Network World staff. 5 enterprise technologies that will shake things up in 2017. Network World. December 19, 2016

Аналитики, следящие за рынком инфраструктуры в виде сервиса, сходятся во мнении, что 2016 год стал годом закрепления позиций «большой тройки» операторов – Amazon Web Services, Microsoft Azure и Google Cloud Platform, а также важным переломным периодом для предприятий, пользующихся облаками.

Перечисленные провайдеры расширяют географию размещения данных, предоставляют более широкий выбор размеров виртуальных машин, позволяя тем самым оптимизировать выполнение рабочих задач, и предлагают новые средства работы с данными, уже загруженными в облако.

Сегодня все больше заказчиков начинают доверять крупным операторам: компании закрывают собственные центры обработки данных и переносят наиболее важные приложения в IaaS.

Какие же тенденции станут определяющими для рынка IaaS в 2017 году? Перечислим десятку наиболее важных.

1. Рынок продолжит расти

По оценкам Forrester Research, среднегодовой рост облачного рынка в целом составляет 22%, и прогнозируется, что в 2017 году его объем достигнет 146 млрд долл. Для сравнения, в 2015 году этот показатель находился на отметке 87 млрд долл., а к 2020-му, как предсказывают аналитики, составит уже 236 млрд долл. Облака, предоставляющие инфраструктурные и платформенные сервисы, принесут в 2017 году операторам 32 млрд долл., а среднегодовой рост этих сегментов составит 35% – больше, чем у рынка SaaS.

Годовой оборот AWS составит порядка 13 млрд долл., результаты Microsoft Azure в Forrester оценивают во вдвое-втрое меньшую сумму (в самой Microsoft не уточняют доходы от Azure), а выручка Google будет исчисляться 0,5-1 млрд долл.

«Нам пришлось обновить прогноз, – признают в Forrester. – В 2014 году рынок рос быстрее, чем мы ожидали». Сегодня освоение облаков идет быстрее, чем в свое время виртуализация. Можно рассчитывать на то, что стремительный рост рынка продолжится весь 2017 год.

2. «Облако 2.0»

Главный аналитик IDC Фрэнк Дженс уверен в том, что отрасль приближается к эпохе «Облака 2.0», переходя от экспериментов к стадии массового освоения. По прогнозу эксперта, к 2018 году 60% корпоративных ИТ-задач будет выполняться не на мощностях самих компаний, 85% предприятий начнут пользоваться многооблачной архитектурной моделью, а к 2020-му свыше 70% доходов провайдеров облачных сервисов будет поступать через торговых партнеров. «Предприятиям предстоит столкнуться с серьезными переменами в мире облаков и начать осваивать предлагаемые ими новые возможности, – полагает Дженс. – Облака станут более распределенными, надежными, “умными”, круг применений облачных сервисов существенно расширится, появится больше облаков с отраслевой специализацией».

3. Машинное обучение и искусственный интеллект

Машинное обучение и искусственный интеллект – приоритетные направления развития облачных сервисов в новом году. В 2016-м все участники «большой тройки» провайдеров сделали объявления, так или иначе связанные с искусственным интеллектом. Так, Google представила платформу машинного обучения TensorFlow, Microsoft последовала этому же примеру, а в Amazon на недавней конференции re:Invent анонсировали ряд соответствующих сервисов. Поток новостей, имеющих отношение к искусственному интеллекту, в 2017 году не иссякнет – став проще для использования программистами, технологии машинного обучения начнут появляться в приложениях на базе перечисленных облачных платформ.

4. Бессерверные вычисления

Эта тенденция началась в 2015 году, стала заметной в 2016-м и продолжит нарастать в 2017-м. Среды «бессерверных» вычислений дают возможность разрабатывать облачные приложения, не заботясь об управлении инфраструктурой, в которой они будут действовать. Код таких приложений вызывается событиями – например, записью новых данных в базу устройством Интернета вещей. Платформа бессерверных вычислений запускает заданное действие – скажем, создание в хранилище данных копии вхождения, поступившего в базу.

Можно создавать целые программные системы, основанные на таком принципе. Первой платформу бессерверных вычислений, Lambda, в 2015 году представила Amazon. В ноябре 2016 года Microsoft предложила свой вариант – Azure Functions, а в декабре IBM объявила о доступности такой системы, OpenWhisk, на платформе в виде сервиса BlueMix. OpenWhisk представляет собой проект с открытым кодом. Бессерверные вычисления пока находятся на ранних стадиях развития, и в 2017-м можно ожидать расширения их применения, особенно в сегменте Интернета вещей.

5. Контейнеры

В 2016 году «контейнеры» стали, пожалуй, самым модным словом в мире облачных вычислений. Аналитик IDC Дипак Моэн относит контейнеры наряду с бессерверными платформами к вычислениям следующего поколения, выходящим за рамки традиционных виртуальных машин и серверов.

Можно ожидать, что в 2017-м платформы управления контейнерами – оркестровщики наподобие Kubernetes, а также специализированные инструменты, реализующие сетевые функции, механизмы безопасности и управления хранением для контейнерных сред, – станут заметнее на рынке и вызовут интерес у большего числа предприятий. Провайдеры облаков предлагают собственные платформы для соответствующих задач: у Google есть Container Engine, у AWS – Elastic Container Service, у Microsoft – Azure Container Service. По оценкам Forrester, только 10% предприятий сейчас используют контейнеры в рабочем режиме, а тестируют – до 33%. В 2017-м круг применений контейнеров станет более четким.

6. Объединение частного облака и гиперконвергентной инфраструктуры

Активно меняются не только публичные облака, тектонические сдвиги происходят и в мире локальной инфраструктуры. В 2017 году будет наблюдаться быстрый отход от традиционных решений для создания частных облакова к более компактным и недорогим решениям, реализующим в числе прочего функции PaaS, управления облаками и поддержки контейнеров, прогнозируют в Forrester.

Частные облака будут чаще строиться на базе гиперконвергентных платформ – интегрированной инфраструктуры, уже включающей в себя серверы, сети и системы хранения. Есть и другие модели – например, частное облако в виде сервиса, когда поставщик контролирует инфраструктуру и ПО, но физически она размещена под защитой межсетевого экрана заказчика. Важным с этой точки зрения стал анонс Microsoft Azure Stack – конвергентной инфраструктуры, совместимой с публичным облаком Azure. Ожидается, что Microsoft начнет предлагать это решение широкому кругу заказчиков в 2017 году.

7. Гибридное облако как ступень к публичному

Выстраивая инфраструктуру нового поколения для частных облаков, в организациях стремятся обеспечить возможность по прошествии времени перенести рабочие задачи в публичное облако – поэтому создается гибридное. Гибридные среды являются одним из столпов облачной стратегии Microsoft со времени запуска Azure. В AWS по большому счету игнорировали идею частных и гибридных облаков, но на re:Invent в 2016 году представили ряд продуктов и сервисов, облегчающих перенос данных в публичное облако Amazon. В числе новшеств – программно-аппаратный комплекс Snowball Edge, позволяющий выполнять задачи локально, а затем отправлять данные в AWS. А больше всего внимания привлек к себе Snowmobile, крупногабаритный грузовой контейнер, позволяющий в буквальном смысле перевезти 10 петабайт данных в AWS. Можно ждать, что в 2017 году специалисты Google расскажут о развитии стратегии гибридных облаков.

8. Управляйте облаком сами или платите

Допустим, у вас уже есть рабочие задачи в облаке и вы собираетесь добавить больше, – сложность управления использованием облака возрастает. По мнению аналитиков Forrester, управлять ресурсами IaaS должен сам заказчик. Нужно заботиться о том, чтобы не резервировать слишком много виртуальных машин, отключать неиспользуемые, экономно покупать мощности, защищать доступ с помощью многофакторной аутентификации, автоматизировать максимум задач, повышать КПД и снижать вероятность ошибки человека.

И это далеко не все задачи, связанные с управлением платформами IaaS. Сегодня становится все больше операторов, помогающих заказчикам управлять использованием облаков. Можно рассчитывать на то, что рынок соответствующих инструментов будет расти. Заказчикам же придется либо осваивать оптимальные методы работы с облаками, либо искать кого-то в помощь.

9. Продолжится расширение дата-центров

Рынок IaaS продолжает расти не по дням, а по часам. И операторы стремительно расширяют свои центры обработки данных во всем мире, чтобы успевать удовлетворять спрос и требования заказчиков. Но расширение происходит не только ради масштабов – провайдеры, стремясь соблюдать местные законы о локальном хранении данных, строят новые дата-центры в определенных регионах. Рост масштабов и количества центров обработки данных продолжится и в 2017 году. В Google, в частности, объявили о планах увеличить площади облачных ЦОД более чем вдвое.

10. Консолидация рынка: останутся только трое?

Насколько устоялся сегодня рынок IaaS? По мнению Моэна, однозначно ответить на этот вопрос нельзя. В США такой рынок уже четко сложился, и новым игрокам захватить существенную долю будет трудно. Но в других регионах рынок сильно фрагментирован. У китайских операторов вроде Alibaba и Tencent есть возможности завоевать большие доли в своем регионе.

– Brandon Butler. 10 must-watch IaaS cloud trends for 2017. Network World. December 19, 2016

С наступлением эпохи Интернета управление персональными данными довольно быстро теряет практический смысл, если, конечно, не отказываться от мобильных и интернет-сервисов полностью. По мере распространения Интернета вещей и технологий Больших Данных становится все больше и больше различных способов сбора и обработки информации. И когда дело касается конфиденциальности данных, то между пользователями, государством и бизнесом возникает конфликт интересов.

«Обеспечить конфиденциальность в цифровой век весьма непросто, и одной из ключевых задач здесь становится повсеместное соблюдение политик конфиденциальности интернет-ресурсами», – подчеркнул Норман Садех, профессор Школы компьютерных наук при Университете Карнеги-Меллона (Carnegie Mellon University, CMU), являющийся также директором CMU Mobile Commerce Lab, председателем совета директоров компании Wombat Security Technologies, а ранее еще и научным директором инициативы Евросоюза в области электронной коммерции. Кроме того, Садех — один из руководителей программы CMU Master's, нацеленной на поиск компромисса между функциональностью и конфиденциальностью и на разработку новых цифровых продуктов, изначально учитывающих требования конфиденциальности.

«Политики конфиденциальности веб-сайтов должны стать фактическим стандартом, регламентирующим правила 'уведомлений и выбора' в Интернете, – добавил Садех. – Чтобы принимать осознанные решения, пользователи должны иметь возможность получать информацию о правилах обеспечения конфиденциальности на тех сайтах, которые они посещают. На практике же пользователям о политиках конфиденциальности, как правило, ничего не известно».

Даже если описания политик конфиденциальности доступны, пользователям зачастую трудно понять, что они означают на деле. С мобильными приложениями ситуация еще более запутанная. У пользователей установлено в среднем 50-100 мобильных приложений, и у каждого из них имеется от трех до пяти параметров конфиденциальности — если эти параметры пользователю вообще видны.

«А вам известно что-нибудь о настройках мобильных приложений на вашем смартфоне? – вопрошает Садех. – Оказывается, почти никто не имеет о них никакого понятия. И это просто ошеломляет».

Сложность (и несовместимость)

Сложность с обеспечением конфиденциальности обусловлена тем, что у каждого пользователя есть свои представления о возможности раскрытия информации в тех или иных целях. Все люди разные. А значит, у них разные предпочтения в отношении той информации, которой они готовы поделиться.

Эти вопросы уже пытались решать. Еще в 2002 году Консорциум World Wide Web Consortium представил Platform for Privacy Preferences Project (P3P) – протокол, с помощью которого сайты объявляли бы о возможности использования информации, собранной у пользователей. В 2010 году Федеральная комиссия по торговле США призвала создать систему, которая вообще не отслеживала бы подобные данные. Вскоре в наиболее популярных браузерах – Mozilla Firefox, Microsoft Internet Explorer, Apple Safari, Google Chrome и Opera – появилась поддержка заголовков Do Not Track (DNT), они запрашивали у веб-приложений разрешения отключить отслеживание конкретных пользователей. Сегодня W3C продолжает работать над стандартизацией DNT.

Все эти проекты направлены на разработку машинно-читаемых форматов, подчиняющихся правилам управления данными на веб-сайте, однако владельцы сайтов весьма неохотно их внедряют. Более того, никаких законов и прочих нормативных требований к внедрению P3P или использованию DNT не существует.

В 2012 году, запустив в производство Windows 8, корпорация Microsoft объявила, что поддержка DNT будет по умолчанию реализована в Internet Explorer 10 в рамках настроек Express Settings операционной системы. Это обернулось нападками со стороны представителей рекламной отрасли, которые настаивали на том, что параметры DNT могут существовать лишь в виде опции и никак не по умолчанию.

В конечном итоге ассоциация Digital Advertising Alliance разрешила своим членам игнорировать DNT: «DAA не требует от компаний учитывать сигналы DNT, зафиксированные и посылаемые производителями браузеров. Сигналы DNT, автоматически рассылаемые IE10 или другими браузерами, не подпадают под действие ни DAA Principle, ни DAA Program. Органы Council of Better Business Bureaus и Direct Marketing Association не станут наказывать компании, не реагирующие на сигналы DNT в IE10 и других браузерах».

В итоге в Microsoft были вынуждены объявить, что функции DNT не будут включаться в Windows 10 по умолчанию, предоставив четкие инструкции тем, кто хотел бы использовать такую возможность.

Управление конфиденциальностью: от сайтов к пользователям

По мнению Садеха, управление со стороны пользователей параметрами конфиденциальности не должно зависеть от степени их кооперации с владельцами сайтов. Пользователи должны иметь возможность делать все самостоятельно, а для этого им понадобится сочетать средства обработки естественного языка, моделирование настроек конфиденциальности, краудсорсинг и построение интерфейса конфиденциальности.

Чтгбы реализовать предложенное, Садех участвует в реализации двух проектов: Usable Privacy Policy Project и Personalized Privacy Assistant Project.

Первый проект финансируется Национальным научным фондом США в рамках инициативы Security and Trustworthy Cyberspace. В реализации проекта участвуют Университет Карнеги-Меллона, Центр права и информационной политики Юридической школы Фордхэм и Центр Интернета и общества Стэнфордской юридической школы.

«Цель проекта заключается в том, чтобы выяснить, в какой степени можно использовать компьютеры для полуавтоматического извлечения информации из политик конфиденциальности, – пояснил Садех. – Тогда мы получим ответы на ключевые вопросы, интересующие пользователей, и сумеем предоставлять им при помощи расширений браузеров информацию, которую будет легко понять. Соответствующие функции будут доступны благодаря машинному обучению, средствам обработки естественного языка и краудсорсинговым технологиям. Мы хотим показать, что, несмотря на результаты предыдущих исследований, свидетельствовавшие о непонимании пользователями политик конфиденциальности, есть достаточное количество энтузиастов, которые помогут получать содержательные ответы на ключевые вопросы».

Проект Personalized Privacy Assistant Project финансируется Университетом Карнеги-Меллона и направлен на создание интеллектуальных агентов, изучающих предпочтения конфиденциальности пользователей, задействуя средства машинного обучения. Агенты эти в состоянии обеспечить полуавтоматическую настройку многих параметров и готовы принимать в интересах пользователей многие решения, касающиеся конфиденциальности. Помощники в области конфиденциальности могли бы предупреждать пользователей о тех настройках, с которыми они чувствуют себя некомфортно, и время от времени подталкивать их к пересмотру ранее принятых решений в части конфиденциальности. Что касается мобильных приложениями, то такой помощник мог бы распознавать, какие приложения обращаются к пользовательским данным, не спрашивая на это разрешения.

Проект включает в себя несколько исследовательских направлений. Он призван определить ориентированные на пользователя процессы, которые преобразуют модели личных предпочтений конфиденциальности, прозрачные механизмы и диалоговые примитивы в функциональность помощника.

Выгода для бизнеса

В конечном итоге исследования принесут дивиденды и бизнесу. Хотя люди имеют разные представления о том, какой информацией они готовы поделиться, их предпочтения зачастую затрагивают относительно небольшое число сегментов.

«Есть много взаимодействующих между собой факторов, – заявил Садех. – И эту корреляцию можно эффективно использовать для помещения пользователей в разные сегменты. Тем, кто планирует собирать определенные виды информации, мы сможем сообщить, какое количество пользователей из их целевой аудитории будет чувствовать себя при этом некомфортно».

Такого рода сведения помогут организациям принимать решения о том, имеет ли смысл заниматься созданием новой функциональности.

- Thor Olavsrud. Carnegie Mellon University helps you control your privacy. CIO. September 7, 2016