Боб Вайолино

Модель доставки приложений в виде сервиса стала настолько распространенной, что для многих организаций вопрос заключается уже не в том, стоит ли внедрять у себя SaaS, а в том, насколько доминирующее положение эта модель должна занимать в ландшафте корпоративного программного обеспечения.

Потенциальные преимущества SaaS хорошо известны: сокращение затрат, повышение гибкости, упрощение масштабируемости и т.д. «Простота и быстрота развертывания наряду с инновационными преимуществами SaaS помогают бизнесу ускорить проведение цифровой трансформации», – констатирует директор IDC по исследованиям в области SaaS и облачного программного обеспечения Франк делла Роса.

Однако использование облачного ПО сопряжено и с определенными трудностями, особенно в условиях резкого роста числа удаленных работников в период пандемии, и ИТ-службам необходимо решить эти вопросы до того, как ситуация выйдет из-под контроля.

Проанализируем три главных вызова, с которыми приходится сталкиваться организациям при переходе в среду SaaS, а также советы экспертов по преодолению возникающих препятствий.

Стремительное размножение SaaS

Число SaaS-приложений в организациях нарастает как снежный ком, что придает вопросам управления и контроля расходов особую важность.

В отчете '2020 Businesses @ Work' компания Okta, предоставляющая платформы управления идентификацией, сообщает, что каждый из ее клиентов уже развернул в среднем 88 приложений SaaS. С 2019 года их число увеличилось на 6%, а с 2017-го – на 21%. У 10% клиентов эксплуатируется 200 и более приложений.

«Модель SaaS демократизировала принятие решений о покупке приложений, позволив руководителям подразделений и даже конечным пользователям самостоятельно закупать программное обеспечение для решения стоящих перед ними задач, – указывает делла Роса. – Но, получив повышение быстроты и гибкости, ИТ-службы теперь вынуждены заниматься дополнительными вопросами управления и соблюдения нормативных требований. Популярность SaaS растет, а исследования IDC показывают, что многие ИТ-руководители не вполне уверены в том, что знают, сколько приложений используется на предприятии. В некоторых случаях речь может идти о сотнях неизвестных им приложений. ИТ-службам нужны автоматизированные инструменты, помогающие идентифицировать используемые приложения и лучше управлять рисками, связанными с безопасностью и необходимостью соблюдения нормативных требований. К числу ведущих поставщиков в этой области, по данным IDC, относятся VMware, Cisco, AWS, Microsoft Azure, Google Cloud и Micro Focus».

«Чтобы справиться с вызовами повсеместно внедряемой модели SaaS, компаниям необходимо задуматься о рисках и приоритетах – определить, какие приложения наиболее важны для успеха их бизнеса, и приступить к их развертыванию, – отмечает аналитик Gartner Кайл Дэвис. – Зачастую у ИТ-службы нет ресурсов, чтобы поддерживать все то количество приложений, которое организация намерена внедрить в форме SaaS. Как правило, компании начинают с нескольких приложений, затем их число увеличивается до пары десятков, потом до пары сотен, а в крупных организациях в конечном итоге начинает исчисляться тысячами. Ранее внедрение программного обеспечения осуществлялось совсем по-другому. Во времена преимущественно локальных ИТ-инфраструктур у организаций имелось несколько больших платформ, и все строилось вокруг них. Когда у вас имеются сотни и тысячи приложений SaaS, ИТ-служба просто не в состоянии обладать экспертными знаниями каждого из них. Нужно классифицировать их с учетом рисков для бизнеса, связанных с отсутствием развертывания и поддержки со стороны ИТ-службы. С высокой степенью вероятности на предприятии постоянно будут появляться какие-то 'теневые ИТ', внедряемые в виде SaaS бизнес-пользователями, ощущающими такую потребность. Но даже в этом случае пользователи в конечном итоге будут обращаться за поддержкой к ИТ-службе. И тогда ее специалисты смогут оценить, стоит ли бизнес-подразделению или ИТ-службе заниматься дальнейшим продвижением этого приложения или же лучше заменить его на что-нибудь другое. Функции регулирования, выполняемые ИТ-службой, должны быть сбалансированными. Ни тиранического контроля, ни полного отказа от него быть не должно. Приложения SaaS должны рассматриваться с точки зрения риска, который возникает у организации при их использовании».

Безопасность, конфиденциальность и соблюдение нормативных требований

Еще один серьезный вызов — необходимость решения вопросов, связанных с безопасностью, конфиденциальностью и соблюдением нормативных требований при использовании приложений в облаке. Ситуация осложняется значительным увеличением числа удаленных работников из-за пандемии коронавируса и соответствующими распоряжениями организовать работу на дому.

«Большое количество используемых SaaS-приложений делает многие компании уязвимыми к утечкам данных и кибератакам, – подчеркивает делла Роса. – Инструменты управления экосистемой SaaS могут помочь ИТ-службам определить политики и процедуры, соотносящие необходимость повышения скорости выполнения с обеспечением конфиденциальности данных и соблюдением нормативных требований. К крупнейшим поставщикам средств управления SaaS относятся компании Blissfully, Zylo, G2 Track и Better Cloud. Развивающаяся сфера управления операциями SaaS (SaaSOps), предлагаемого большинством поставщиков подобного инструментария, помогает компаниям сделать направление SaaS приоритетным, рекомендуя новые приложения и трансформируя ИТ-службу из регулирующего органа в орган поддержки. ИТ-служба могла бы отслеживать подозрительную активность и защищать от неправомочного совместного доступа к данным. Файлы можно регулярно проверять на предмет утечки конфиденциальных данных. Для соблюдения законодательных требований имеет смысл определить автоматические политики».

«Крайне важно, чтобы организации требовали от сотрудников осознания своей ответственности и вовлеченности в процесс использования SaaS, – указывает Роберт Уолден, ИТ-директор компании Epsilon, предоставляющей маркетинговые сервисы и технологии. – Когда речь заходит об обеспечении правильного использования решений SaaS, именно сотрудники играют роль первой линии обороны — или, по крайней мере, должны это делать. Невнимательность не может служить оправданием».

Организациям необходимо проводить надлежащую политику, обучение и обеспечить постоянный контакт с сотрудниками, информируя их о своих обязанностях и последствиях их невыполнения. Крайне важно также, чтобы предприятия внедряли у себя процессы управления, инструменты и средства контроля, снижая риски безопасности и организуя защиту данных.

«При оценке предложений SaaS во главе угла должны стоять вопросы безопасности, – добавляет Дэвис. – Для этого компаниям следует определить набор критериев, которым должны соответствовать поставщики с точки зрения безопасности. Главный вопрос заключается в том, можно ли поставщику средств SaaS позволить делать то же самое (если не больше), что и при использовании локальных средств? Нужно понимать, как поставщик публикует и раскрывает информацию о брешах, как организовано управление физической безопасностью, и каким образом осуществляется защита ваших данных в процессе их перемещения и при хранении».

Многие разработчики SaaS-решений предлагают свои сервисы через крупных провайдеров – Amazon Web Services, Microsoft Azure и Google Cloud Platform, делая ставку на средства безопасности этих платформ. Но компании в любом случае должны убедиться в том, что используемые ими SaaS-приложения соответствуют нормативным требованиям, предъявляемым к защите данных, и внедряются с должным вниманием к управлению доступом.

Интеграция облачных решений

Третьим серьезным вызовом является интеграция различных облачных приложений, которые должны работать совместно, решая определенные задачи или поддерживая бизнес-процессы. При попытке интегрировать облачные приложения друг с другом или с приложениями на локальных серверах организации, вероятно, столкнутся с определенными ограничениями.

Внедрение новых SaaS-приложений или переход от локального к SaaS-приложению зачастую требует перестройки существующих бизнес-процессов. Кроме того, переход на модель SaaS вызывает необходимость проведения незапланированной интеграции с другими SaaS-приложениями или с локальным ПО.

Чем более стратегическое значение приобретает SaaS-сервис для организации, тем выше вероятность того, что потребуется интеграция с другими приложениями. Хорошим примером здесь является электронная почта. Многие приложения и системы используют электронную почту для рассылки уведомлений, и компаниям нужно подготовиться к тому, что произойдет с этими взаимозависимостями при переводе приложения электронной почты на модель SaaS.

В современном виде SaaS – это не изолированный инструмент, а платформа, на которую опирается организация. Соответственно, нужен необходимый набор API, позволяющий пользователям интегрировать свои технологические и бизнес-процессы.

Ведущие поставщики SaaS-приложений решают проблему интеграции, максимально упрощая реализацию наиболее распространенных сценариев интеграции. Но на типичном предприятии для полной интеграции пользовательского опыта и бизнес-процессов этого все равно недостаточно.

Поэтому организациям необходимо тщательно оценивать возможности интеграции и интерфейсы предложений SaaS. В некоторых случаях для удовлетворения конкретных нужд потребуется создать адаптированные решения.

«Быстрое распространение SaaS-платформ облегчает бремя интеграции и адаптации благодаря общей модели данных, стандартным инструментам и устойчивым публичным API, – отмечает делла Роса. – Это имеет еще более важное значение для нового поколения SaaS, которое характеризуется переходом от монолитных корпоративных приложений к чисто облачной архитектуре, состоящей из составных и контейнерных микросервисов».

Искусственный интеллект сегодня повсюду – по крайней мере создается впечатление, что это именно так. Интеллектуальные технологии выглядят весьма многообещающими и позволяют на самом разном уровне осуществлять автоматизацию бизнес-процессов, которые по-прежнему во многом выполняются вручную. Исследователи данных получают в свое распоряжение мощные инструменты.

Одно из направлений, на которое искусственный интеллект влияет уже сейчас, а со временем будет воздействовать еще больше – DevOps. Специалисты утверждают, что искусственный интеллект и машинное обучение обладают необходимым потенциалом для расширения возможностей DevOps в условиях, когда многие организации начинают внедрять этот подход, рассчитывая повысить эффективность разработки, развертывания и эксплуатации приложений и оптимизировать бизнес-процессы в других областях.

«Искусственный интеллект и машинное обучение охватывают DevOps в полной мере, – подчеркнул Спандан Махапатра, возглавляющий в компании Tata Consultancy Services направление бизнес-решений. – Многие компании так или иначе уже опираются в своих проектах цифровой трансформации на DevOps и добиваются благодаря этому более высоких результатов. Искусственный интеллект и машинное обучение открывают путь к оптимизации процессов DevOps».

«Большинству команд DevOps делать ставку на искусственный интеллект еще рановато, но мы видим, что все больше клиентов намерены использовать искусственный интеллекта и связанный с ним анализ данных, – добавил Стивен Эллиот, вице-президент International Data Corp. по вопросам DevOps, управления облачными конфигурациями, ITSM и программно-конфигурируемых архитектур. – Наиболее заметные области применения искусственного интеллекта в DevOps связаны с непрерывной интеграцией (continuous integration, CI) и непрерывной разработкой (continuous development, CD), выявлением и разрешением возникающих проблем, а также с углублением обработки и понимания собранных клиентских данных. Мы отмечаем, что инфраструктурные и операционные команды испытывают тягу к аналитике. Многие уже внедряют сервисы управления производительностью приложений и анализа данных в реальном времени, дающие возможность оперативно выявлять и решать возникающие проблемы. Командам DevOps следует подумать об использовании аналитики, которая помогает диагностировать и устранять неисправности, способствует повышению эффективности процессов и улучшению клиентского восприятия, а также достижению более высоких бизнес-результатов в целом».

В русле тенденций

Компания Power Home Remodeling использует искусственный интеллект в сочетании с DevOps при создании решений, предназначенных для перестройки внешних элементов зданий. Она разработала собственную технологическую платформу NITRO, выполняющую самые разные задачи, начиная от управления отношениями с клиентами (customer relationship management, CRM) и заканчивая функциями внутренней социальной сети.

«Мы являемся центром разработки и у нас сформирована полноценная команда DevOps», – сообщил директор Power Home Remodeling по инновациям Тим Уэнхолд. С помощью NITRO компания выстраивает всеобъемлющую инфраструктуру искусственного интеллекта, используя накопленное богатство данных для машинного обучения, что способствует улучшению обслуживания клиентов, более высокой эффективности и расширению возможностей персонала.

«Команда DevOps выясняет, как лучше использовать инфраструктуру искусственного интеллекта на практике, – отметил Уэнхолд. – Искусственный интеллект и машинное обучение призваны повысить эффективность труда разработчиков, осваивающих новые инструменты. Искусственный интеллект помогает прогнозировать развитие процессов DevOps. Анализируя, например, процессы непрерывной интеграции, средства искусственного интеллекта подсказывают, какие моменты следует скорректировать, чтобы улучшить конвейер CI».

В сфере безопасности обнаружить тревожные симптомы бывает довольно сложно. «Сегодня на просмотр журналов и отчетов, связанных с мониторингом безопасности, уходит очень много времени, – пояснил Уэнхолд. – Применяя при идентификации угроз средства машинного обучения, мы выявляем аномалии в тысячу раз быстрее, чем при традиционном подходе. Теперь команды DevOps могут работать на упреждение, а не реагировать по факту. Точно так же, как большие данные выводят аналитику на более высокий уровень по сравнению с простыми отчетами и инструментальными панелями, искусственный интеллект помогает командам DevOps использовать мощь прогнозного моделирования».

По мере того как искусственный интеллект становится все более мощным, его влияние на DevOps растет. «В перспективе искусственный интеллект и машинное обучение помогут нам не только быстро выявлять аномалии, но и решать проблемы, о которых мы еще даже не подозреваем, – подчеркнул Уэнхолд. – У компании имеются журналы с миллионами записей. Сегодня мы действуем, как детективы: просматриваем журналы, ищем аномалии и принимаем меры. Искусственный интеллект самостоятельно будет выявлять аномалии. Затем он проинформирует о том, что может произойти, и предложит варианты устранения угрозы. Более того, искусственный интеллект известит нас о предпринятых для ликвидации аномалии мерах. Всё это весьма впечатляет».

Медицинская компания Molina Healthcare также возлагает на связку искусственного интеллекта и DevOps большие надежды. «Уже сейчас мы видим, какие преимущества перед нами открываются, – сообщил ИТ-директор Molina Healthcare Рик Хопфер, занимающийся применением средств искусственного интеллекта в DevOps с 2016 года. – Перед нами стоит проблема, как совладать с имеющимися в наших журналах транзакций горами данных, которые наши системы генерируют ежедневно. Одного лишь наличия системы, предназначенной для сбора данных, недостаточно. Необходимо еще и уметь отделять реальные проблемы от прочего белого шума».

Чтобы это стало возможным, компании, во-первых, нужно оптимизировать имеющиеся у нее инструменты для мониторинга приложений и инфраструктуры. Во-вторых, необходимо обобщить данные – перенести телеметрию из разрозненных инструментов на централизованную платформу, установить взаимосвязи между данными и задействовать средства машинного обучения для выявления реальных проблем. И, наконец, в-третьих – следить за тенденциями и использовать прогнозную аналитику.

«Нам требовалось сформировать правильные представления для визуализации данных, повышения эффективности и упреждающего управления технологиями, – подчеркнул Хопфер. – Для этого мы воспользовались набором готовых решений. Результаты оказались впечатляющими. Получив возможность решать возникающие вопросы фактически в реальном времени, мы значительно ускорили устранение проблем».

Будущее уже сейчас

«Будущее видится нам в том, чтобы, исходя из своих аналитических возможностей, принимать необходимые меры с определенным прицелом: с точки зрения CI/CD, клиентского восприятия, управления проблемами и т.д., – указал Эллиот. – Автоматизация и анализ – это как джем и масло: гораздо лучше, когда они вместе. Дело будет сводиться к повышению производительности технологических и бизнес-процессов, к выполнению определенных действий в специфичных деловых и технологических ситуациях».

Искусственный интеллект и машинное обучение уже сегодня могут оказывать влияние на DevOps, поэтому ни в коем случае не следует рассматривать их как технологии отдаленного будущего.

«DevOps может повысить скорость новых приложений, но в мире постцифровой трансформации DevOps нужно объединять c требованиями, предъявляемыми искусственным интеллектом, – указал Энди Граймс, главный технолог компании NetApp, специализирующейся на решениях для хранения данных и управления инфраструктурой. – Сочетание методов DevOps и современных требований к данным порождает новую парадигму — DataOps. Поскольку новые приложения искусственного интеллекта требуют агрегирования, а также значительно более высоких скоростей и масштабов подготовки данных, разработчики, использующие парадигму DataOps, должны взаимодействовать с ИТ-службой более тесно и понимать место приложений искусственного интеллекта в гибридной среде. Современная концепция DataOps объединяет периферийные наборы данных с агрегированными основными данными, размещаемыми локально, дополняет их облачными хранилищами и предлагает архитектуру, поддерживающую частое внесение изменений, подстегиваемое необходимостью внедрять инновационные инструменты и отвечать требованиям непрерывной эволюции бизнеса».

В рамках DataOps приложения и инфраструктура для работы с данными развиваются непрерывно и итерационно, гарантируя увеличение производительности по мере роста объемов данных.

«Искусственному интеллекту присущи три свойства – самообучение, прогнозирование и автоматизация, – отметил Сумендра Моханти, руководитель направления анализа данных компании Larsen & Tourbo Infotech, являющейся глобальным поставщиком ИТ-решений и поддерживающей цифровую трансформацию своих корпоративных клиентов путем внедрения средств искусственного интеллекта. – Они позволяют улучшить такие практики DevOps, как CI и CD».

Несмотря на то что концепция DevOps обеспечивает необходимую гибкость и ускоряет вывод новых программных систем в продуктивный режим, процессу их поставки не хватает некоторых критически важных компонентов, например непрерывных инноваций и непрерывного цикла обратной связи.

«Искусственный интеллект придает данным свойство самообучения. Вот почему искусственный интеллект и машинное обучение приносятьно весьма ощутимую пользу при их интеграции в процессы и задачи DevOps. Так, при разработке программного кода средства искусственного интеллекта, моделируя различные сценарии, могут отслеживать, в какой степени удовлетворяются потребности пользователей, – пояснил Моханти.– Конечному пользователю не отводится роль пассивного игрока. Искусственный интеллект и машинное обучение позволяют оторваться от разработки программного обеспечения исключительно на основе заранее установленных правил и во многом обеспечить дополнительную гибкость за счет изучения данных».

Искусственный интеллект и машинное обучение помогают отслеживать производственные показатели, устанавливать связь с прошлыми проблемами, изучать предложенные решения и оценивать, насколько эффективными они были. Некоторые негативные моменты можно прогнозировать заранее и устранять автоматически. «Соединение искусственного интеллекта и машинного обучения с DevOps не только сделает процедуры проектирования программного кода, его развертывания и выпуска готовой продукции более предсказуемыми, но и обеспечит непрерывность процесса инноваций», – добавил Моханти.

Команды DevOps сосредоточены на жизненном цикле проектирования, учитывая при этом меняющиеся требования. «Однако есть важные аспекты предсказуемости качества кода и управления данными, связанные с тем, на чем команды не акцентируют свое внимание, – указал Моханти. – Интегрируя искусственный интеллект и машинное обучение в свои процессы, команды DevOps могут проанализировать выполнение кода, понять, все ли пользовательские сценарии учтены, изучить возникавшие ранее проблемы и способы их решения».

Управление данными

Искусственный интеллект помогает организовать управление растущими объемами данных в средах DevOps.

«Средства искусственного интеллекта и машинного обучения призваны выявлять тенденции и закономерности в растущих объемах данных, – отметил Элиэзер Канал, технический менеджер по кибербезопасности группы быстрого реагирования Института программной инженерии при университете Карнеги-Меллона. – Успех в этой области по большей части связан с наличием достаточного количества слабых индикаторов. Например, для того чтобы узнать температуру на улице, лучше всего взглянуть на термометр. К сожалению, зачастую у нас в распоряжении нет датчиков, которые точно измеряли бы то, что мы хотим знать. Поэтому приходится полагаться на множество слабых индикаторов. Люди считают задачи такого рода очень сложными, но для современных машин они, в сущности, тривиальны».

«Сфера DevOps переполнена огромными объемами данных, – добавил Канал. – Эти данные часто используются непосредственно для тех целей, для которых они предназначены. Например, отчеты помогают понять, в чем заключается ошибка. Но средства машинного обучения и искусственного интеллекта позволяют почерпнуть из всего этого гораздо больше. Так, изучая типы ошибок, присутствующие в отчете, аналитики могут обнаружить много чего интересного: какие модули используются наиболее интенсивно, в каких чаще встречаются ошибки, какие ошибки обнаружить труднее всего, и прочие полезные факты. Используя систему отчетов об ошибках в качестве источника данных о среде разработки, можно почерпнуть массу дополнительных сведений о процессе разработки и повысить общую эффективность».

Другой пример касается управления производственными системами. «Современные системы генерируют огромное количество журналов, большая часть которых используется уже после отказа системы или возникновения ошибки, – указал Канал. – Загрузив эти журналы в систему искусственного интеллекта, мы сможем не только понять, почему возникают те или иные ошибки, но и найти закономерности, которые очень трудно обнаружить другими способами. Процедуры встраивания средств искусственного интеллекта и машинного обучения в существующие продукты упрощаются. Многие поставщики предлагают API и наборы инструментов, помогающие предприятиям интегрировать соответствующие функции в свои продукты. В связи с этим командам DevOps нужно изучать не только открывающиеся перед ними возможности, но и порядок интеграции соответствующего функционала в программное обеспечение. Тем самым можно будет значительно улучшить качество программных продуктов, предлагаемых конечным пользователям. Широкое распространение средств искусственного интеллекта и машинного обучения наряду с переподготовкой персонала, очевидно, приведут к дальнейшему их совершенствованию и проникновению в процесс DevOps на протяжении еще многих лет».

- Bob Violino. How AI will revolutionize DevOps. CIO. July 18, 2018

Процесс обучения практически всегда происходит методом проб и ошибок: совершив промах, вы стараетесь понять, как избежать его в дальнейшем. То же относится и к машинному обучению.

Внедряя машинное обучение на предприятии, будьте осторожны: рекламные описания технологии могли породить у вас нереалистичные ожидания ее высочайшей эффективности и точности. На самом деле ошибки в процессе машинного обучения неизбежны, и они могут быть перенесены в бизнес-процессы. Ошибки могут распространиться в широких масштабах, и человек далеко не всегда успевает этому быстро воспрепятствовать.

Если торопиться с внедрением, не уделить времени необходимой подготовке, могут возникнуть проблемы, которые сведут преимущества машинного обучения на нет. Своевременно выявляя и устраняя ошибки машинного обучения, вы способствуете успеху проекта.

Перечислим ряд проблем, способных увеличить число ошибок, совершаемых при машинном обучении, и продлить их влияние. Сами машины с распознаванием и исправлением таких оплошностей справятся вряд ли.

Отсутствие понимания бизнес-задачи

Иногда аналитики, использующие модели машинного обучения, не имеют точного представления о том, какую задачу бизнеса они с его помощью пытаются решить. Это одна из причин возможного появления ошибок.

Прежде чем приступить к освоению инструмента машинного обучения, нужно ответить на вопросы, какую именно задачу вам надо решить и какие для этого требуется построить модели.

С точки зрения статистических возможностей доступные на сегодня средства машинного обучения отличаются чрезвычайной мощностью. При неосторожном использовании такие инструменты могут привести к принятию неверных решений, имеющих серьезные последствия для компании. Если не приложить достаточных усилий, может получиться модель, не соответствующая характеристикам используемого набора данных или задаче обучения. Итогом может стать стремительное падение результативности.

Кроме того, не все бизнес-пользователи знают о том, что качество модели с момента ввода в рабочую эксплуатацию начинает падать. Необходимо постоянно контролировать влияние таких ухудшений на принимаемые решения — независимо от того, идет ли речь о модели, используемой для искусственного интеллекта автомобиля-робота, или любой другой автоматизированной системы.

Низкое качество данных для обучения

Мусор на входе — мусор на выходе. Если качество данных неудовлетворительное, машинное обучение будет проходить с ошибками. Низкое качество данных — одна из основных проблем, с которыми борются специалисты по управлению данными. Из-за низкого качества данных под угрозой могут оказаться проекты аналитики больших данных, несмотря на все усилия исследователей и других специалистов.

Нередко надежность алгоритмов машинного обучения переоценивается, а влияние некачественных данных недооценивается. Низкокачественные данные ведут к получению неверных результатов и принятию необоснованных бизнес-решений. Это, в свою очередь, вредит доходам и затрудняет финансирование новых проектов.

Низкое качество данных можно выявить по результатам работы модели машинного обучения: такие результаты с учетом накопленного вами опыта выглядят бессмысленными.

Для предотвращения проблемы можно применять методы разведочного анализа данных (exploratory data analysis, EDA). В процессе такого анализа обнаруживаются наиболее явные проблемы качества, например аномальные и отсутствующие значения, а также значения, выпадающие из области определения. Используя выборочный статистический контроль, можно определить, достаточно ли у вас данных для адекватного отражения распределения какого-либо демографического показателя, а также составить правила и политики для устранения проблем с качеством.

Неверное применение машинного обучения

Одна из самых распространенных проблем связана со стремлением использовать машинное обучение только потому, что это «модно». Но для успеха соответствующих инициатив нужно, чтобы решаемые задачи не выходили за рамки верных областей применения нового инструмента. Не исключено, что традиционные методы обеспечат не только более быстрое, но и менее дорогостоящее решение.

К тому же, используя машинное обучение для решения неподходящих задач, вы будете впустую тратить рабочее время сотрудников и инфраструктурные ресурсы для получения результатов, которые можно было бы получить более простым путем.

Чтобы избежать ситуации, когда машинное обучение используется не по назначению, уточните бизнес-цель, которую нужно достичь, уровень сложности задачи, объем данных и количество атрибутов. Относительно простые задачи, связанные с классификацией, кластеризацией или поиском ассоциативных правил, требуют небольших объемов данных с малым числом атрибутов и могут быть решены с помощью визуализации или статистического анализа.

Когда объемы данных становятся огромными, возможно, больше подойдет машинное обучение. Однако нередко уже после внедрения выясняется, что бизнес-цель не была сформулирована достаточно четко и решается не та задача, которую требовалось решить.

Модели машинного обучения могут быть предвзятыми

Причиной неверных выводов могут быть не только неточности и пробелы в данных, но и предвзятость (системные ошибки). Предвзятость свойственна людям, а значит, она может быть присуща и моделям, которые работают на основе тех же принципов, что и мозг человека.

У каждого алгоритма машинного обучения свои характеристики чувствительности к несбалансированным классам и распределениям. Если не учитывать это, работоспособность системы распознавания лиц может начать зависеть, например, от цвета кожи или от пола. Подобные случаи с коммерчески доступными сервисами уже были.

Точность заключения, сделанного как алгоритмом, так и человеком, зависит от широты и качества обработанной информации. В связи с возможностью финансового, юридического и репутационного риска, обусловленного алгоритмической предвзятостью, в любой компании, применяющей машинное обучение, необходимо следить за соблюдением принципов этики в масштабах всей организации.

На сегодня существуют подробные описания признаков алгоритмической предвзятости для таких задач, как оценка кредитоспособности, составление образовательных программ, наем персонала и вынесение приговоров по уголовным делам. Недочеты, допущенные при сборе и контроле качества и использовании данных, способны внести системные ошибки даже в самые лучшие реализации приложений машинного обучения.

В докладе консалтинговой компании McKinsey & Company от 2017 года алгоритмическая предвзятость названа одним из самых больших рисков машинного обучения как компрометирующая само предназначение этой технологии.

Как отмечают авторы доклада, целенаправленные усилия по борьбе с проблемой окупаются сторицей, позволяя эффективно реализовать истинный потенциал машинного обучения.

Нехватка ресурсов для полноценного внедрения

Начиная проект, связанный с машинным обучением, в организациях нередко недооценивают необходимый для этого объем кадровых и инфраструктурных ресурсов. Потребности в последних могут быть внушительными, особенно если речь идет об обработке изображений, аудио и видео.

Если у вас нет достаточных мощностей, эффективная разработка решений на основе машинного обучения будет трудной, а то и невозможной.

Но даже если вы реализовали такое решение, в нем не будет смысла, если из-за отсутствия необходимой инфраструктуры его нельзя будет развернуть и использовать.

Масштабируемая инфраструктура для систем машинного обучения может обойтись недешево как в развертывании, так и в сопровождении. Но существует ряд облачных сервисов, предоставляющих масштабируемые платформы машинного обучения, ресурсы которых можно выделять по мере необходимости. Облако позволяет проводить масштабные эксперименты в области машинного обучения без закупки оборудования и работ по развертыванию и настройке.

В некоторых организациях предпочитают использовать локальную инфраструктуру. В этом случае облачные сервисы можно использовать в качестве стартплощадки и инструмента обучения, который поможет понять, какие именно инфраструктурные ресурсы необходимы организации, прежде чем сделать крупное вложение.

Что касается персонала: если у вас в штате нет ученых по данным (data scientist) и инженеров по машинному обучению, то проект может застрять. Необходимы профессионалы, разбирающиеся в принципах и методах машинного обучения, а также способные оценить, можно ли с его помощью решить ту или иную задачу бизнеса.

Специалисты соответствующего профиля смогут обнаружить проблемы с качеством данным, грамотно проведут развертывание и обеспечат использование решений по назначению, помогут сформулировать рекомендации для последующих внедрений и политики сопровождения.

Некачественное планирование и отсутствие контроля

Проект в области машинного обучения может быть начат с энтузиазмом, но со временем застопориться — это признак неудачного планирования и отсутствия контроля.

Если не соблюдать заранее установленные правила, осуществление инициативы растянется на неопределенно долгое время, что может привести к колоссальным затратам ресурсов без пользы.

Нельзя забывать о том, что машинное обучение — это итеративный процесс и модели могут со временем меняться для адаптации к новым требованиям. Как следствие, участники проекта могут утратить заинтересованность в доведении его до конца. Зачинщики проекта могут переключиться на другие инициативы, и затея с машинным обучением в конечном счете остановится.

Как подчеркивают специалисты, ход проектов в области машинного обучения нуждается в постоянном контроле. Если прогресс замедляется, возможно, пришло время сделать паузу и пересмотреть принципы осуществления инициативы.

— Bob Violino. 6 ways to make machine learning fail. InfoWorld. OCT 10, 2018

Вероятно, вы все чаще в последнее время слышите о машинном обучении. Но какие именно задачи позволяет решать машинное обучение?

Существует целый ряд методов и способов, у каждого есть свои возможные применения. Прежде чем бросаться планировать инвестиции в новые инструменты и инфраструктуру, стоит ознакомиться с возможностями, которые они предоставляют. Перечислим описания и особенности вариантов новшества, чтобы помочь не пасть жертвой нынешнего ажиотажа вокруг машинного обучения и искусственного интеллекта.

Способы машинного обучения

Обучение с учителем (Supervised learning)

Этот способ оптимален, если вы знаете, чему хотите научить машину. Вы можете познакомить компьютер с огромной обучающей выборкой данных и варьировать параметры до тех пор, пока не получите на выходе ожидаемые результаты. Затем можно уточнить, чему научилась машина, заставив ее спрогнозировать результат для контрольных данных, с которыми компьютер еще не сталкивался.

Чаще всего обучение с учителем применяется для задач классификации и прогнозирования. Обучение с учителем можно использовать при определении финансового риска частных лиц и организаций на основе имеющихся сведений о прошлой финансовой активности, можно неплохо прогнозировать покупательское поведение с учетом прежних закономерностей.

Обучение без учителя (Unsupervised learning)

При обучении без учителя машина исследует набор данных и выявляет скрытые закономерности корреляции между различными переменными. Этот способ можно использовать для группирования данных в кластеры на основании одних только их статистических свойств.

Хорошее применение обучения без учителя — алгоритм кластеризации, используемый для вероятностного соединения записей. Определяются связи между элементами данных и на основании этих отношений выявляются связи между людьми и организациями в физическом или виртуальном мире.

Вариант особенно полезен компаниям, которым нужно, например, объединить данные из разнородных источников или по различным структурным подразделениям, чтобы построить общую картину клиентуры.

Обучение без учителя также можно использовать для анализа тональности высказываний, чтобы определять эмоциональное состояние людей на основе их постов в социальных сетях, сообщений электронной почты и других записей. Сегодня, в частности, в компаниях, специализирующихся на финансовых услугах, с помощью обучения без учителя все чаще оценивают уровень удовлетворенности клиентов.

Обучение с частичным привлечением учителя (Semi-Supervised learning)

Это гибрид обучения с учителем и без. Разметив небольшую часть данных, учитель дает машине понять, каким образом кластеризовать остальное.

Способ можно применять для распознавания мошенничеств с попытками выдать себя за другого. Мошенничества можно классифицировать как аномалию на фоне обычной активности. Методы машинного обучения с частичным привлечением учителя позволяют создавать модели, распознающие такие аномалии. Соответствующие системы нередко применяются для выявления попыток мошенничеств при онлайн-сделках.

Обучение с частичным привлечением учителя также можно применять в случаях, когда есть готовые наборы частично размеченных данных, что характерно для крупных предприятий. В Amazon, например, улучшили способности цифрового ассистента Alexa понимать естественный язык, обучая алгоритмы искусственного интеллекта на сочетаниях размеченных и неразмеченных данных. Благодаря этому удалось повысить точность ответов Alexa.

Обучение с подкреплением (Reinforcement learning)

При обучении с подкреплением машине позволяют взаимодействовать с окружением (например, сбрасывать бракованную продукцию с конвейера в корзину) и «вознаграждают», когда она правильно выполняет задание. Автоматизировав подсчет вознаграждений, можно дать возможность машине обучаться самостоятельно.

Одно из применений обучения с подкреплением — сортировка товаров в розничных магазинах. Некоторые продавцы экспериментируют с роботизированными системами сортировки предметов одежды, обуви и аксессуаров. Роботы, используя обучение с подкреплением и глубинное обучение, определяют, насколько сильно нужно сдавить предмет при хватании и какой хват будет наилучшим.

Разновидность этого способа, глубинное обучение с подкреплением, хорошо подходит для автономного принятия решений в случаях, когда возможностей обучения с учителем и без недостаточно.

Глубинное обучение (Deep learning)

Глубинное обучение может проходить как без учителя, так и с подкреплением. При глубинном обучении частично имитируются принципы обучения людей — используются нейронные сети для все более подробного уточнения характеристик набора данных.

Глубинные нейронные сети применяются, в частности, для ускорения скрининга больших объемов данных при поиске лекарственных средств. Такие нейросети способны обрабатывать множество изображений за короткое время и извлечь больше признаков, которые модель в конечном счете запоминает.

Этот способ тоже широко применяется для борьбы с мошенничествами, так как улучшает точность распознавания благодаря автоматизации.

Глубинное обучение может использоваться в автомобильной отрасли при выполнении ремонта и профилактического обслуживания.

Методы машинного обучения

Нейронные сети

Нейронные сети имитируют структуру головного мозга: каждый искусственный нейрон соединяется с несколькими другими нейронами. Нейросети имеют многослойную структуру: нейроны на одном слое передают данные нескольким нейронам на следующем и т. д. В конечном счете данные достигают выходного слоя, где сеть выдает предположение о том, как решить задачу, классифицировать объект и т. п.

Нейросети применяются в целом ряде отраслей. В здравоохранении их используют при анализе медицинских снимков с целью ускорения диагностических процедур и поиска лекарств. В телекоммуникационной отрасли и медиаиндустрии нейросети можно применять для машинного перевода, распознавания мошенничеств и предоставления услуг виртуальных ассистентов. В финансовой отрасли их используют для распознавания мошенничеств, управления портфелями и анализа риска. В розничной торговле — для избавления от очередей в кассу и для персонализации обслуживания покупателей.

Дерево решений

Алгоритм дерева решений классифицирует объекты, отвечая на «вопросы» об их атрибутах, расположенные в узловых точках. В зависимости от ответа выбирается одна из ветвей, и так до тех пор, пока не будет достигнут «лист» — окончательный ответ.

Среди применений дерева решений — платформы управления знаниями для клиентского обслуживания, прогнозного назначения цен и планирования выпуска продукции.

В страховой компании дерево решений поможет выяснить, какие виды страховых продуктов и премий лучше задействовать с учетом возможного риска. Используя данные о местонахождении и сведения о страховых случаях с учетом погодных условий, система может определять категории риска на основании поданных требований и затраченных сумм. Затем, используя модели, система будет оценивать новые заявления о страховой защите, классифицируя их по категории риска и возможному финансовому ущербу.

«Случайный лес»

Чтобы одиночное дерево решений давало точные результаты, его нужно обучать, алгоритм же случайного леса (random forest) использует «комитет» случайным образом созданных решающих деревьев с разными наборами атрибутов и дает возможность им проголосовать, чтобы выбрать самый популярный класс.

Случайный лес — универсальный, быстро обучаемый механизм для обнаружения связей внутри набора данных. В пример можно привести нежелательные массовые рассылки, создающие проблемы не только пользователям, но и провайдерам Интернета, которым из-за спама приходится иметь дело с повышенной нагрузкой на серверы. Для борьбы с проблемой были разработаны автоматизированные методы фильтрации спама, которые с помощью ансамбля решающих деревьев быстро и эффективно определяют нежелательные письма.

Среди других применений — диагностика заболеваний путем анализа медицинской карты пациента, распознавание банковских мошенничеств, прогнозирование числа звонков в колл-центрах и прогнозирование вероятности прибыли и убытка при покупке определенных акций.

Кластеризация

Кластеризация — это группирование элементов данных, имеющих сходные характеристики, с помощью статистических алгоритмов. Это метод обучения без учителя, который можно использовать для решения задач классификации.

Примеры: сегментирование покупательской аудитории в зависимости от характеристик для уточнения адресации маркетинговых кампаний; рекомендации новостей конкретным читателям; помощь в работе правоохранительным органам.

Кластеризация также действенна, когда в сложных наборах данных нужно обнаружить группы, которые трудно заметить без специальных средств. Примеры — от группирования похожих документов в базе данных до обнаружения по криминальным новостям территорий с повышенным уровнем преступности.

Поиск ассоциативных правил

Поиск ассоциативных правил — это метод обучения без учителя, позволяющий находить отношения между переменными. Используется в движках выдачи рекомендаций — именно этот метод применяется во многих интернет-магазинах для составления фразы «Вместе с этим товаром обычно покупают...».

Конкретный пример — повышение продаж в магазине деликатесов. Изучив покупательское поведение путем поиска ассоциативных правил, можно предлагать специальную упаковку и наборы для праздников и других особых случаев. Ассоциативные правила позволяют выяснить, когда и при каких обстоятельствах покупатели приобретают те или иные сочетания товаров. Используя сведения о прошлых покупках и времени их совершения, можно составить программу скидок и сформировать индивидуальные предложения с расчетом на повышение продаж.

— Bob Violino. Machine learning: When to use each method and technique. InfoWorld. SEP 6, 2018

Растет число предприятий, для которых переход в облако – это не просто развертывание одного-двух приложений в Amazon Web Services, Microsoft Azure и других общедоступных сервисах, а мультиоблачная стратегия, ключевая часть проекта цифровой трансформации, направленного на модернизацию бизнес-процессов.

Мультиоблачная стратегия способна принести существенные преимущества.

Использование облачных сервисов, таких как инфраструктура, платформа и ПО в виде сервиса (IaaS, PaaS, SaaS), в единой гетерогенной архитектуре позволяет уменьшить зависимость от поставщика, объясняют эксперты.

Кроме того, так можно улучшить возможности аварийного восстановления и сопротивляемость потерям данных, облегчить использование систем скидок, помочь компаниям соблюдать законы о личных данных и учитывать геополитические барьеры, а также дать организациям возможность задействовать лучшие инфраструктурные, платформенные и программные сервисы.

Одно из основных преимуществ – оптимизация расходов. Но смысл не в том, что при переходе на мультиоблачную систему вы меньше тратите, а в том, что гораздо лучше управляете рисками.

Мультиоблачность дает больше гибкости и адаптивности, позволяя выбирать лучшие в своем классе технологии и обеспечивая гораздо более надежные механизмы аварийного восстановления. Благодаря отсутствию привязки к поставщику некоторые приложения можно выполнять в частной среде, а другие – в публичной, поддерживая при этом соединение между ними. Провайдеры облачных сервисов располагают необходимыми для этого средствами, поэтому у вас нет необходимости нанимать на работу соответствующих специалистов.

Как и другие масштабные ИТ-проекты, реализация эффективной мультиоблачной стратегии требует наличия специалистов и инструментов определенного профиля, а также согласования с целями бизнеса. Перечислим некоторые рекомендации, относящиеся к этой растущей тенденции, которые дают ИТ-руководители и отраслевые эксперты.

Проведите комплексную оценку

Мультиоблачное развертывание чревато дополнительными сложностями, поэтому от организации требуется глубокое понимание приобретаемых сервисов и предварительная комплексная оценка.

Такая оценка должна включать в себя планирование. Воспользуйтесь какой-либо стандартной схемой освоения облака, содержащей рекомендации по процессам идентификации приложений, выбору облачных провайдеров и типовым задачам, связанным с эксплуатацией сервисов публичного облака. Используя такую схему, обучите персонал, познакомьте его с особенностями архитектуры, сервисами выбранного провайдера, а также с инструментами, которые помогут с внедрением.

При переходе в мультиоблачную среду могут возникнуть риски, нехарактерные для ваших имеющихся приложений и систем. Проверьте наличие таких рисков и выясните, какие механизмы можно задействовать для их снижения. Применяйте инструменты провайдера для контроля безопасности используемых сервисов.

К корпоративной инфраструктуре следует относиться так же, как к исходному коду – в частности, внедрить процедуры обязательного контроля изменений и учета различий между реализациями, применяемыми разными провайдерами.

Вывод сервисов из эксплуатации тоже должен проходить по заранее спланированным обязательным процедурам. Самая важная для организации часть любого приложения или системы – это хранимые и обрабатываемые ими данные. Поэтому необходимо четко понимать, как извлечь данные, хранимые одним провайдером, и перенести в облако другого.

Переформируйте ИТ-службу

В McAfee рекомендуют сформировать для задач облачной инженерии отдельную структуру, которая будет заниматься исключительно доработкой и защитой рабочих нагрузок для облака.

По мере освоения публичных облаков потребуются новые навыки, которых может не быть в традиционном ИТ-отделе – например, будут нужны облачные архитекторы, инженеры по автоматизации и менеджеры по продуктам. Предстоит нанимать, обучать и сертифицировать соответствующих специалистов, а также обеспечивать координацию деятельности «облачного» отдела с задачами бизнеса. Возможно, придется создать «бимодальный» департамент, в котором вся активность, связанная с облаком, будет отделена от обслуживания традиционных ключевых ИТ-сервисов.

Как и во многих средних и крупных компаниях, в McAfee используется гибридная облачная среда, в том числе два публичных облака и собственное частное. Все виды облаков применяются как для взаимодействия с клиентами, так и для внутренних нужд. Компания использует сервисы IaaS и PaaS, предоставляемые облачными провайдерами.

В рамках глобальной стратегии консолидации центров обработки данных в McAfee разделили весь портфель приложений на категории в зависимости от назначения. Выбор приложений для переноса в публичное и частное облако осуществляется по ряду критериев – это перспектива преобразования, возможность перевода на архитектуру микросервисов и возможность миграции без изменений. Учитываются также затраты и особенности приложений.

Проведите полную инвентаризацию корпоративных приложений

Перед тем как приступить к осуществлению мультиоблачной стратегии, хорошо бы провести оценку имеющихся приложений, советуют в GE. При этом нужно проанализировать технологический стек, используемый каждым из них, уровень интеграции с общей экосистемой приложений и, что наиболее важно, пользу, которую приложение приносит бизнесу.

Эти сведения критически важны для планирования общекорпоративных преобразований. На первом этапе следует определиться, от каких приложений стоит отказаться. На следующем – уточнить, у каких приложений есть на рынке аналоги, предоставляемые по принципу SaaS, и выбрать наиболее подходящие для вас.

Остальные приложения станут главными кандидатами на перенос в облако. Сама процедура переноса будет зависеть от пользы, приносимой приложением предприятию. Приложения, которым до конца срока службы осталось год-полтора, желательно перенести в облако без изменений. Те, которые будут служить дольше или считаются обеспечивающими конкурентное преимущество, следует подвергнуть рефакторизации или переписать, чтобы использовать все возможности современных облачных технологий.

Отдайте приоритет интеграции

Если бизнес-приложения клиентов и внутренних пользователей базируются на множестве облачных сервисов, необходимо обеспечить между ними тесную интеграцию.

Для этого потребуются интерфейсы программирования, с помощью которых системы будут взаимодействовать, обеспечивая оптимальное обслуживание пользователей – без прерываний и замедлений. Именно API дают приложениям независимость и возможность одновременно использовать сервисы из различных облаков, как публичных, так и частных.

В компании Benjamin Moore, выпускающей лакокрасочные изделия, развертывают инициативу, которая позволит клиентам заказывать продукцию более удобным образом. В рамках программы используются раздельные облачные сервисы для внутренней обработки данных, а также хостинга клиентского приложения, сайта и прочих систем.

Внутренняя инфраструктура и облачные приложения тесно интегрированы, они формируют решение для B2B-сделок, все компоненты которого слаженно взаимодействуют. В компании считают, что при использовании единственного облака управлять таким решением гораздо труднее, мультиоблачная же стратегия позволяет выбирать оптимальные инфраструктуры для различных приложений в зависимости от их характеристик.

Управляйте доступом и защищайте данные

При использовании множества облачных сервисов, работающих в разных публичных и частных облаках, требуется решить целый ряд проблем безопасности. Одним из факторов надежности защиты являются идентификация и аутентификация пользователей. Для снижения риска компрометации верительных данных при работе с многими облачными провайдерами нужно использовать мультифакторную аутентификацию.

Также необходимо разграничить пользовательские права. В частности, создать набор ролей, охватывающий и задачи, выполняемые совместно, и индивидуальные. При этом придется разобраться, как реализовать единую систему аутентификации с учетом различий при реализации ролевого контроля доступа у разных провайдеров.

Еще одна важная мера – разработка политик доступа к ресурсам и контроль их соблюдения. Облачные провайдеры предлагают различные типы сервисов хранения данных, например виртуальные диски и службы доставки контента, и у каждого из них могут быть свои политики доступа, которые обязательно нужно задействовать для защиты хранимых данных.

Защита данных от несанкционированного доступа – это необходимость. Обеспечить ее можно с помощью шифрования неактивных данных, размещенных у всех ваших провайдеров. Это поможет предотвратить их раскрытие при несанкционированном доступе.

Важно также убедиться в том, что процедуры резервного копирования и восстановления, реализуемые всеми провайдерами, соответствуют требованиям вашей организации. Возможно, эти процедуры придется дополнить собственными механизмами резервирования и восстановления.

Защита данных – важнейший элемент управления мультиоблачной средой. Обеспечение достаточного уровня безопасности данных и других ресурсов является настоятельной необходимостью.

Контролируйте расходы

Один из главных коммерческих аргументов в пользу облака – возможность снизить затраты путем более рационального использования вычислительных ресурсов. Плата за сервисы зависит от реального потребления, а тратиться на покупку и сопровождение многочисленных серверов не нужно.

Тем не менее с мультиоблачной средой легко запутаться в ходе учета расходов. Поэтому необходимо тщательно контролировать затраты на управление мультиоблачными средами, включая кадровые расходы, связанные с административным контролем, интеграцией, расчетами характеристик, а также задачами локализации и устранения проблем и дефектов, могущими оказаться весьма непростыми.

Для снижения таких затрат и улучшения управляемости можно внедрить средства администрирования облака, аналитики и DevOps, предоставляющие интегрированный интерфейс для административного контроля, развертывания, масштабирования, конфигурирования, запуска ресурсов и управления ими.

Используйте микросервисы, нативные сервисы и контейнеры

Провайдеры облаков предлагают ряд сервисных опций, облегчающих перенос данных и рабочих нагрузок в облако, и клиентам следует их использовать по мере возможности.

Например, микросервисы, работающие на оригинальных платформах наподобие Lambda, облегчают масштабирование приложений, повышают их экономическую эффективность, ускоряют разработку и сокращают сроки выпуска на рынок. Использование нативных сервисов, предоставляемых провайдером, обеспечивает более быстрые обновление и масштабирование, чем локальные развертывания.

Однако использование оригинальных функций, предлагаемых провайдером, создает риск привязки, поэтому нужно учитывать, насколько они для вас важны. Невозможно выбрать единую облачную платформу или стратегию, которые будут соответствовать требованиям сразу всех ваших приложений и нагрузок.

В целом мультиоблачная стратегия обеспечивает гибкость и расширение возможностей. Вы не привязаны к единому провайдеру, вам проще внедрять новшества и вести переговоры о расценках. Чтобы в полной мере реализовать преимущества мультиоблачной среды, в том числе переносимость рабочих нагрузок, необходимо принять определенные архитектурные меры – например, развернуть приложения в контейнерах.

– Bob Violino. 7 secrets to a successful multi-cloud strategy. CIO. AUG 7, 2018

Чем сильнее в мире ИТ ажиотаж по поводу новшества, тем больше о нем неверных представлений, и аналитика не исключение. Методы аналитики, одного из самых «модных» направлений в современных ИТ, могут принести существенные преимущества бизнесу, но заблуждения способны помешать оперативно реализовать возможности, которые могли бы пойти на пользу как самой компании, так и ее клиентам.

При разработке и расширении стратегии в области аналитики организациям стоит иметь в виду распространенные мифы. Перечислим 12 таких мифов.

Миф № 1. Аналитика требует немалых инвестиций

В наше время любой технологический проект проходит через фильтр финансовой оценки. «Во что это нам обойдется?» – один из первых вопросов, который получают ИТ- и бизнес-руководители, когда предлагают начать проект или внедрить новый инструмент.

Некоторые считают, что аналитика данных – внедрение непременно дорогостоящее, а потому доступное только организациям с солидными бюджетами и внутренними ресурсами. Однако не все инициативы в этой области требуют значительных инвестиций.

Сегодня существует масса инструментов с открытым кодом, и не только тех, с помощью которых вы сможете быстро увидеть преимущества аналитики. Чтобы убедиться в этом, понадобятся анализ внутренних ресурсов для хранения данных и оценка задач, которые требуется решить. К тому же пробные внедрения сегодня значительно упростились благодаря облачным сервисам.

Современная аналитика основана на облачных системах и средах обработки больших данных, которые по своей природе гораздо менее дорогостоящие, чем традиционные хранилища данных. Кроме того, данные и аналитика обычно применяются ради трех задач: повышения КПД процессов, увеличения выручки и прогнозного управления рисками. Поэтому в целом внедрение аналитики обеспечивает значительные экономические преимущества любой компании.

Миф № 2. Для аналитики требуются большие данные

В представлении многих концепции больших данных и аналитики идут рука об руку. Считается, что организациям, прежде чем осваивать аналитику, нужно собрать колоссальные объемы данных, чтобы получать полезные для бизнеса знания, улучшать процессы принятия решений и т. д.

Разумеется, преимущества анализа больших данных сегодня хорошо известны, и компании с соответствующими ресурсами действительно могут получить ощутимое конкурентное преимущество за счет использования информационных хранилищ в рамках аналитических инициатив. Однако представление о том, что большие данные обязательны для аналитики, неверно.

Зачастую в компаниях стараются сохранять как можно больше данных, пребывая в уверенности, что это необходимо. Но полагать, что чем больше данных, тем лучше, а остальное – дело техники, является ошибкой.

Для аналитики требуются не максимально большие объемы данных, а данные определенного рода. Сотрудникам прежде всего необходима информация, относящаяся к их должности, которая поможет в принятии решений и улучшении результатов. Нужно не гнаться за большим объемом данных, а уточнить, какие именно данные нужны бизнес-пользователям и в какой форме они должны быть представлены.

Для предоставления доступа ко всему объему информации во множестве форматов, может потребоваться чрезмерно сложный проект, который будет лишь сдерживать освоение аналитики. Поэтому необходимо выяснить, какие именно данные важны и как представить информацию в наиболее доступной для пользователей форме.

Миф № 3. Аналитика исключает присущую людям предвзятость

Принципы работы автоматизированных систем таковы, что ошибки из-за предубеждений им, казалось бы, не должны быть свойственны. Но технологии разрабатываются людьми, поэтому полностью исключить предвзятость невозможно. По мнению некоторых, аналитика и машинное обучение устраняют предвзятость, присущую людям, но это, увы, не так. Алгоритмы аналитических систем настраиваются с помощью обучающих данных и воспроизводят все особенности, свойственные учебной выборке.

В одних случаях возникающая таким образом системная предвзятость может быть незначительной, в других – сильной. Поэтому не стоит полагать, что полученный результат верен и объективен только потому, что «так сказал компьютер».

Миф № 4. Лучшие алгоритмы – залог успеха

На самом деле если объем данных достаточен, то выбор алгоритма может и не иметь значения. В публикации IEEE, озаглавленной «Необоснованная эффективность данных», инженеры Google доказывают, что простые статистические модели в сочетании с гигантскими объемами данных позволяют получить лучшие результаты, чем более «интеллектуально развитые» модели, учитывающие множество признаков и выполняющие сложные обобщения. В некоторых случаях простая обработка более обширного набора данных позволяет получать оптимальные результаты.

Миф № 5. Алгоритмы безотказны

Людям свойственно безоговорочно доверять статистическим моделям, алгоритмам и методам науки о данных. Не обладая достаточными знаниями, чтобы подвергать сомнению качество моделей, они предпочитают доверять «умникам», которые их разработали.

Прогнозы о том, что искусственный интеллект через пару десятков лет обойдет по интеллектуальным способностям людей, слышны уже более полувека и будут раздаваться далее. Однако, прежде чем можно будет безоговорочно доверять машинному обучению и результатам работы моделей, пройдет еще очень много времени. А пока что необходимо требовать от людей, разрабатывающих алгоритмы и модели, объяснений того, как именно получаются те или иные результаты. Речь идет не о том, что верить им в принципе нельзя, а о том, что нужны уточнения, которые помогут проверять аналитику и после этого доверять ей.

Миф № 6. Наука о данных – «тайное» искусство, доступное не всем

В последние годы наука о данных получила широкую известность, но, тем не менее, не все понимают, что это такое. Говоря упрощенно, это поиск закономерностей в данных с помощью специальных алгоритмов.

Наука о данных представляется загадочной, поскольку такие алгоритмы способны анализировать больше переменных и данных, чем может себе представить человеческий разум. С ростом доступных вычислительных мощностей и объемов памяти, происшедшим за последние годы, мы обрели возможность быстро решать задачи, которые еще десять лет тому назад было бы невозможно экономично решить доступными способами. Наука о данных – это естественное развитие методов статистического анализа, хорошо известных уже много десятков лет. Никакой загадки в науке о данных нет – достаточно освоить соответствующие разделы математики.

Миф № 7. Чтобы выполнять больше аналитики, нужно больше ученых по данным

Ученые по данным (data scientist) на сегодня одна из самых востребованных технических профессий. В каких-то случаях организация может обойтись меньшим количеством этих специалистов, если перераспределить обязанности.

Масса времени ученого по данным тратится на второстепенную работу – поиск наборов данных, перенос в системы обработки, преобразование и очистку. Учитывая, насколько непросто сегодня нанять ученого по данным, эти малоценные задачи следует поручить другим.

В качестве примера можно привести разработанную в компании Uber платформу Michelangelo, которая позволяет ученым по данным заниматься не переброской данных туда-сюда, а проектированием, выделением и анализом признаков, предоставляя им возможность работать продуктивнее.

Миф №8. Аналитика занимает слишком много времени

Скорость сегодня имеет огромное значение для конкурентоспособности компаний, идет ли речь о срочном выпуске продукта на рынок или о быстром ответе на запрос клиента. Существует мнение, что аналитика занимает много времени, а потому мешает повышению скорости и деловой гибкости.

Миф о том, что проекты подобного рода слишком длительны и сложны, довольно расхож. Однако на деле все сводится к кадровому вопросу. При наличии специалистов с необходимыми навыками, умеющих грамотно применять agile-методологии, вы сможете отвечать на важные вопросы за считанные дни, а не месяцы.

Миф № 9. Самое сложное – технологии

В связи с постоянным ростом количества доступных технологий, выбрать правильный комплект инструментов для аналитиков сегодня не так-то просто.

Но в действительности самое сложное – выстроить организационную структуру и операционную модель, которая поможет объединить результаты работы людей, процессов и технологий. Кроме того, очень сложно создать такую структуру внутри существующего отдела ИТ или параллельно ему.

При этом важно не впадать в заблуждение относительно того, что всю работу будут выполнять аналитические инструменты. Технологии сами по себе не решают задачи бизнеса. Спеша создавать озера данных, организации нередко получают болота – информационную «трясину», в которой невозможно разобраться.

Технология не решает аналитические задачи. Вначале нужно выявить проблему бизнеса и выяснить, какие именно данные нужны для ее решения. Это поможет уточнить наличие пробелов в данных, имеющихся у вашей организации.

Миф № 10. Аналитикой должен заниматься специальный отдел

В некоторых организациях аналитикой занимается отдельный департамент, в других – кросс-функциональная группа специалистов.

Однако, учитывая взрывной рост накапливаемых объемов данных по всем аспектам бизнеса и современные темпы перемен, можно утверждать, что модель самостоятельного отдела уже не подходит. В эпоху, когда компании становятся более клиентоориентированными, специалисты по аналитике должны работать непосредственно в бизнес-подразделениях, а не в самостоятельном отделе, к которому обращаются как к службе поддержки.

Ключ к решению многих сложных задач, стоящих перед бизнес-подразделениями, спрятан именно в данных. Поэтому ученые по данным и другие специалисты, применяющие искусственный интеллект для обработки обширных информационных срезов в тесном сотрудничестве с бизнес-пользователями, станут важнейшим звеном в создании новых продуктов, услуг и принципов взаимодействия с клиентом.

Миф № 11. Аналитика доступна только выпускникам аспирантуры

Большое количество аналитиков с учеными степенями – это плюс, но не обязательное условие. В компаниях нередко считают, что без кандидатов наук высококвалифицированный анализ невозможен. Однако современная аналитика требует наличия специалистов многих квалификаций, в том числе разбирающихся в современных технологиях и ПО с открытым кодом. Формирование группы, в которую входят архитекторы больших данных, инженеры, ученые по данным, специалисты по визуализации и т. д., – вот залог успеха.

Миф № 12. Искусственный интеллект лишит людей работы и разрушит экономику

Появляющиеся новые технологии всегда влияли на рынок труда и различные отрасли, и сегодня существуют страхи по поводу того, что искусственный интеллект сделает ряд профессий ненужными.

Искусственный интеллект действительно гораздо лучше справляется с определенными задачами: по сравнению с человеком машина быстрее читает, способна больше запомнить и может выполнять более сложные математические расчеты. Однако в новых ситуациях человек ориентируется намного лучше.

Да, некоторые профессии уже исчезают в связи с развитием искусственного интеллекта, и за ними последуют другие. Однако, в отличие от человека, существующие технологии искусственного интеллекта лишены способности осваиваться и действовать в непредвиденных ситуациях. В обозримом будущем искусственный интеллект наибольшую пользу будет приносить при решении сложных задач, дополняя человеческие возможности. Многие профессии в связи с появлением искусственного интеллекта изменятся, но люди по-прежнему будут оставаться критически важным элементом экосистемы бизнеса.

– Bob Violino. 12 myths of data analytics debunked. CIO. NOV, 2017

Роботизация бизнес-процессов (robotic process automation, RPA) приобретает в организациях все большую популярность, обещая переложить трудоемкие и рутинные задачи на «программных роботов», которые выполняют их гораздо быстрее и во многих случаях лучше, чем люди. Такая рационализация операций сулит и дополнительные преимущества, поскольку у сотрудников высвобождается время и они могут приносить более высокую ценность. А это имеет очень важное значение для организаций, занимающихся цифровой трансформацией.

Вместе с тем внедрение RPA – процесс сложный и не всегда гарантирующий успех. И если не сделать все аккуратно, переход к RPA вызовет даже больше проблем, чем у компании имелось до этого.

«Одна из наиболее частых причин неудач при внедрении RPA связана с политикой и протекционизмом внутри организации, – указал Фрэнк Касейл, основатель Institute for Robotic Process Automation & Artificial Intelligence (IRPA AI) – независимой профессиональной ассоциации покупателей, продавцов, влиятельных лиц и аналитиков на рынке RPA. ­– Это прорывная технология, а большинство менеджеров не желают, чтобы в их подразделении или команде привычный уклад был нарушен. Другая распространенная причина неудач заключается в слабом планировании, выборе неверных сценариев использования и внедрении не той технологии, которая отвечает потребностям организации».

Дадим некоторые рекомендации по успешному развертыванию RPA.

Проводите исследования

RPA – относительно новая технология и новый рынок, а ситуация с поставщиками, предлагаемые продукты и функционал в последние годы сильно изменились. Прежде чем погружаться в процесс внедрения, найдите время, чтобы рассмотреть бизнес-сценарии применения RPA и изучить доступные продукты.

«Поймите, что для достижения успеха вам необходимо будет выполнить три ключевых условия, причем обязательно все три, – пояснил Касейл. – К этим трем условиям относятся: выбор правильного технологического решения для удовлетворения потребностей организации; формирование правильных бизнес-сценариев для RPA с учетом окупаемости разработки; оценка существующих процессов и организационных вопросов, которые позволили бы избежать политических проблем».

Поскольку RPA – новое направление и имеющийся у организаций опыт работы в этой области весьма небогат, при выработке стратегии, выборе поставщика, а также развертывании и поддержке решений RPA имеет смысл обратиться за помощью к эксперту-консультанту.

«Программы RPA требуют трансформации, – заметил управляющий директор консультационной компании Protiviti Тони Эйбел. – Трансформация изнутри – непростой процесс, привлекающий внимание СМИ к роботизации, когнитивным компьютерным технологиям и другим решениям в области искусственного интеллекта. Эти технологии, несомненно, будут упрощать труд, но люди не торопятся обучать роботов, которые с высокой долей вероятности придут им на смену».

Эксперты могут помочь справиться с этими трудностями, объяснив, какие новые перспективы откроются в будущем перед подлежащими сокращению сотрудниками.

Разъясняйте сотрудникам преимущества RPA

RPA порождает у сотрудников множество страхов. Поэтому столь важно заранее разъяснить, чего следует и чего не следует ждать от технологии с точки зрения профессиональных ролей сотрудников.

«Расскажите каждому в организации о преимуществах RPA и о подходе, выбранном организацией, – рекомендует Джанеш Пател, вице-президент по гостиничным технологиям отельного оператора Wyndham Hotel Group. – Люди боятся потерять работу. Для нас роботизация имеет стратегически важное значение, потому что поможет техническому персоналу быстрее и эффективнее решать повседневные задачи. Кроме того, у этих сотрудников высвободится больше времени на взаимодействие с франчайзи и удовлетворение первоочередных потребностей наших гостей».

Wyndham ежедневно открывает два новых отеля, и приоритетной задачей для компании является организация управления недвижимостью и централизованной системой бронирования. К системе присоединяется большое количество новых отельеров, и это создает дополнительные трудности, поскольку новым франчайзи требуется время на освоение платформ, сервисов обработки гостиничных данных и прочих функций.

«Так как объемы в течение года варьируются, нам нужны автоматизированные решения, помогающие преодолеть ресурсные ограничения при решении бизнес-задач, – решения, снижающие входной ценовой порог для наших франчайзи и нагрузку на нашу службу поддержки», – пояснил Пател. В 2014 году компания развернула у себя систему RPA Kryon, автоматизирующую соответствующие функции, и сумела предложить франчайзи более щадящие условия, снизить нагрузку на службу поддержки и облегчить адаптацию франчайзи к новым для них особенностям.

Определите, где технология сработает лучше

При развертывании инструментов RPA постарайтесь определить бизнес-процессы, на которые позитивное воздействие будет оказано с наибольшей вероятностью. Тем самым вы заметно увеличите шансы на успех при модернизации своих бизнес-процессов. Но учтите, что определение наилучших целей для RPA может оказаться нелегким делом.

«Построение первоначального конвейера и составление плана для определения наиболее подходящих автоматизируемых бизнес-процессов представляет собой очень сложную процедуру, – подчеркнул Пател. – И по мере дальнейшей автоматизации готовьтесь к тому, что процессы придется уточнять».

Стремясь улучшить процессы RPA, компания Wyndham решила повысить эффективность анализа продуктов (по сути, одни боты определяют, где могут работать другие боты), с тем чтобы ускорить внедрение и оценить, каким процессам роботизация принесет наибольшую отдачу.

Поставщик финансовых услуг FBMC Benefits Management развернул у себя систему RPA, чтобы автоматизировать процедуру извлечения данных для выдачи страховым компаниям отчетов (на их формирование сотрудники тратят порой до 60% своего рабочего времени).

Компания крайне избирательно подходит к применению технологий, которые извлекают необходимые сведения, а также запускают и анализируют отчеты с 99-процентной точностью. «Ночью система RPA получает необходимую информацию из собственных систем и генерирует готовый к отправке файл для безопасной его пересылки оператором, – отметил директор FBMC по операциям Саджед Хан. – Применение такой технологии позволило переместить сотрудников на более ответственные должности. Отличными кандидатами на автоматизацию являются часто повторяющиеся задачи. После успешного развертывания системы RPA резонно было бы предположить, что все здесь может и должно быть автоматизировано. Но наша практика показывает: успешно автоматизировать можно лишь тот процесс, в последовательность действий которого человек не вмешивается. Процессы, не обладающие такими качествами, не рассматриваются как жизнеспособные кандидаты на автоматизацию».

Придерживайтесь простоты и модульности

RPA не нужна сложность. «Создавайте ботов в качестве обычных, повторно используемых объектов, – советует директор по безопасности и сервисным технологиям поставщика ипотечных ценных бумаг Federal National Mortgage Association (FNMA) Мона Кан. – Выстраивая процесс, мы пытаемся сформировать как можно больше общих компонентов, формируя переменные и логику таким образом, чтобы свести вероятность ошибок к минимуму и упростить обновление условий. Процедура внесения изменений максимально упрощена и ускорена, с тем чтобы у нас была возможность тщательно все протестировать перед развертыванием».

FNMA приступила к реализации первого экспериментального проекта RPA в конце 2016 года, а первый бот RPA был введен в эксплуатацию в марте 2017 года. Цель внедрения RPA заключалась в том, чтобы, автоматизировав и упростив процессы, прежде выполнявшиеся вручную, сократить число ошибок, повысить общую эффективность и высвободить у персонала время для решения более важных задач.

«В конечном итоге все это повышает качество выполняемых работ, а клиенты начинают лучше воспринимать происходящее», – отметила Кан. В настоящее время организация использует инструмент RPA, поставляемый компанией Blue Prism.

Не пренебрегайте безопасностью данных

Порой компании так увлекаются автоматизацией процессов, что перестают заботиться о безопасности.

«Безопасность обслуживания очень важна, поскольку транзакции выполняются с невероятной скоростью, – заметила Андреа Марчинк, возглавляющая в подразделении управления корпоративным контентом Siemens направление проектов, стратегии роботизации и развития бизнеса. – Необходимо убедиться в том, что процессами нельзя манипулировать. Чем важнее бизнес-процесс, тем больше внимания нужно уделять его стабильности и безопасности».

Первый «профессиональный сервис RPA» Siemens запустила в октябре 2017 года, и сегодня он доступен во всех регионах, где работает компания. Платформа позволяет автоматизировать различные задачи, обрабатывая с помощью бота RPA структурированную и неструктурированную информацию: текст, речь, файлы и электронную почту. Реализовав этот проект, компания смогла сократить затраты, улучшить качество и повысить скорость реакции.

Не забывайте о регулярном тестировании

С внедрением системы проект RPA не заканчивается. Компаниям необходимо регулярно тестировать средства автоматизации, выявляя имеющиеся слабые места и добиваясь их ликвидации.

Страховая группа Unum Group начала использовать RPA в 2016 году, тогда для автоматизации различных административных задач в контактном центре была развернута система Pega Robotic Desktop Automation (RDA) компании Pegasystems.

Прежде сотрудникам центра обслуживания клиентов, чтобы выполнить простые операции, приходилось обращаться сразу к нескольким системам. Например, после изменения адреса клиента требовалось скопировать соответствующую информацию и вставить ее в другие поля. В случае изменения адресов данные извлекались из нескольких унаследованных систем.

«Уделяя большое внимание повышению качества обслуживания клиентов, мы стали искать решение, которое позволило бы автоматизировать эти рутинные операции, – сообщил управляющий технологиями общих сервисов Unum Group Рекс Прайс. – В этом случае у сотрудников оставалось бы больше времени на работу непосредственно с клиентскими заявками».

В Unum полагали, что бизнес-пользователи помогут в тестировании RPA. «Но люди, не выполняющие те или иные операции на регулярной основе, как правило, ограничиваются только позитивным тестированием, – указал Прайс. – Поэтому важно выработать такую стратегию тестирования, чтобы она гарантировала выполнение как позитивных, так и негативных тестов. Необходимо также тестировать производительность с учетом особенностей функционирования унаследованных систем. Это поможет определить дополнительные требования к инфраструктуре».

Создайте межфункциональный центр передового опыта

По мере расширения использования RPA, в организации имеет смысл создать центр передового опыта для обмена лучшими наработками и методами.

Проектная и строительная компания Bechtel обратилась к RPA в 2016 году, приступив к реализации первого экспериментального проекта для Bechtel Business Services – организации, предоставляющей Bechtel широкий спектр разнообразных услуг, в том числе финансовых и бухгалтерских, а также связанных с управлением зарплатой и разработкой корпоративных систем.

По словам менеджера корпоративных систем Bechtel Триш Вильдфанг, проект предусматривал автоматизацию проверки входных данных системы управления кадровыми ресурсами (human resources management system, HRMS) и сравнения изменений в HRMS с сопроводительной документацией в целях выявления неправильного ввода.

После успешной реализации проекта в финансовом и кадровом подразделениях, в 2017 году в компании был создан центр передового опыта RPA Center of Excellence, действующий в интересах всех бизнес-подразделений и функциональных направлений.

«Наш центр передового опыта включает в свой состав разработчиков в области ИТ и специалистов по общим сервисным функциям, в том числе кадровым и финансовым, – указала Вильдфанг. – В команду входят также разработчики с частичной занятостью, которые в случае необходимости могут быть переведены на полную занятость. С момента создания центра в отделах и бизнес-подразделениях Bechtel были развернуты почти 40 ботов. Самым ощутимым и обнадеживающим результатом их внедрения стало повышение производительности труда. Передача рутинных и транзакционных операций «виртуальной рабочей силе» позволила освободить наших коллег, и они теперь могут полностью сосредоточиться на выполнении сложных процессов».

Готовьтесь к дальнейшему развитию и будущим вызовам

Роботизация бизнес-процессов продолжает развиваться, а потому очень важно идти в ногу со временем.

«Все больший объем человеческого труда становится предметом автоматизации, технологии RPA предоставляют более развитые когнитивные возможности или интегрируются с другими когнитивными функциями, – указал Эйбел. – Технология предусматривает самовоспроизведение роботов, вербальный контроль и взаимодействие, внесение коррективов по итогам машинного обучения, управление растущим числом исключений и прочих нюансов, возникающих в процессе обработки. Автоматизация процессов получит в организациях настолько широкое распространение, что им придется задуматься об управлении этой автоматизацией. Как управлять, отслеживать и поддерживать всех производственных ботов, работающих на предприятии? Как быть со средствами автоматизации, которые каждый отдельно взятый сотрудник выбирает для себя самостоятельно, исходя из своих индивидуальных потребностей? Как учесть или исключить влияние, которое тысячи ботов, разработанных и развернутых на предприятии, оказывают на корпоративные приложения?». Все эти вопросы предстоит решать.

– Bob Violino. 8 keys to a successful RPA implementation. CIO. JUL 26, 2018

Компании отдают на аутсорсинг все разновидности ИТ- и бизнес-функций, в том числе и стратегические. Все чаще передается «на сторону» и сфера аналитики данных – одно из наиболее конкурентоспособных технологических направлений.

Для аутсорсинга нанимают поставщика услуг, который анализирует предоставляемые ему данные. Исследования показывают, что спрос на услуги подобного рода находится на подъеме.

В отчете, опубликованном в 2017 году консультационной компанией Hexa Research, указывается, что с 2016 по 2024 год мировой рынок аутсорсинга анализа данных будет ежегодно расти более чем на 30%, а к концу этого периода объем продаж превысит 6 млрд долл.

Как утверждается в отчете, растущая осведомленность о преимуществах анализа данных становится ключевой движущей силой развития рынка. Бизнес постепенно осознает важность анализа в повышении доходов и влиянии на выбор потребителей. А между тем далеко не каждая организация обладает знаниями и ресурсами, необходимыми для эффективного анализа данных.

Нехватка аналитиков данных препятствует развитию конкурентоспособного анализа и порождает дополнительный спрос на аналитические услуги. В отчете Hexa все виды анализа подразделяются на три основных типа: прогнозный, предписывающий и описательный. Сейчас основная доля на рынке принадлежит описательному анализу. В дальнейшем ожидается существенный рост объемов предписывающего анализа, потребность в котором испытывают многие организации.

Что же касается самого аутсорсинга, он подразделяется на офшорный и оншорный.

«Облачные технологии упрощают доступ к данным в тех регионах мира, где рабочая сила более дешевая, поэтому может произойти сокращение расходов на текущее управление алгоритмами, – указала научный директор направления облачных технологий и ИТ-сервисов исследовательской компании 451 Research Кэти Ринг. – Технологии машинного обучения обещают дальнейшее снижение затрат в этой области. При этом офшорные источники имеет смысл выбирать главным образом для проектирования систем управления данными, нежели непосредственно для анализа».

«В условиях, когда ведущая роль в обработке отводится машинам, преимущества офшорных услуг постепенно будут нивелироваться, – добавила партнер консультационной фирмы EY в области глобального анализа Беатрис Санс-Саис. – Какой аутсорсинг будет выбран, не столь важно, гораздо большую значимость в достижении наилучших результатов имеет совместная работа людей и машин».

Передавать анализ данных на аутсорсинг имеет смысл только для определенных видов аналитики. Наряду с потенциальными преимуществами здесь есть и риски. Перечислим, в чем можно проиграть, а в чем выиграть, передав анализ данных на аутсорсинг.

Преимущество: доступ к нужным дефицитным навыкам

Не секрет, что многие ИТ-специальности сегодня в дефиците. Это в полной мере относится к облачным вычислениям, передовым методам анализа, большим данным, озерам данных и науке о данных. Аутсорсинговые компании могут смягчить образовавшийся дефицит, предложив клиентам свои услуги в указанных областях.

«В условиях продолжающегося роста объемов данных рассчитывать на то, что традиционные ЦОДы помогут с этим справиться, уже не приходится, – заметила Ринг. – Рост потребностей в управлении большими данными в облаке способствует дальнейшему развитию Amazon Web Services, Microsoft Azure и Google Cloud Platform».

Организациям нужны платформы управления облаком, позволяющие создавать озера больших данных, управлять загрузкой данных и осуществлять их передачу с индивидуальных консолей. Но если за такую работу берется команда, не обладающая соответствующими навыками, то и дело возникают осложнения. Прибегнув к аутсорсингу, организации получают доступ к необходимым знаниям.

Недостаток: риск выбрать не того провайдера

Неверный выбор поставщика услуг грозит неприятностями в любом виде аутсорсинга, и анализ данных не является исключением.

«Выбор поставщика услуг может превратиться в сложную задачу, – указала Элисон Клоуз, возглавляющая в компании International Data Corp. направление исследований финансов и бухгалтерского учета, BPaaS и аналитических сервисов. – В первую очередь внимание следует обращать на стоимость предлагаемых услуг, однако не менее важны культурные предпочтения и расстановка команд. Компании сегодня хотят тесного стратегического партнерства, при котором выделяемые ресурсы соответствуют объему повседневных операций, коммуникационные каналы эффективны и получение требуемых бизнес-результатов гарантируется».

Преимущество: отраслевой опыт

Некоторые функции анализа данных являются универсальными, другие же специфичны для определенных секторов – например, для отрасли здравоохранения или финансовых услуг. Наличие аутсорсингового партнера, обладающего глубокими отраслевыми знаниями, превращается в этом случае в серьезное конкурентное преимущество.

«Поставщики, отточившие свои экспертные знания в сфере розничной торговли, могут предложить специальные аналитические услуги: анализ ценности клиентского жизненного цикла, анализ истории продаж, анализ рентабельности или анализ рыночной корзины, – отметила Клоуз. – Они могут также предоставить эталонные данные и параметры, позволяющие сравнивать результаты предприятия с отраслевыми стандартами и показателями других отраслевых игроков. Все это может стать конкурентным преимуществом».

Недостаток: поиск компромисса между ценностями и затратами

После создания прогнозной модели и преобразования ее внешним поставщиком услуг в продукт, необходимо организовать сопровождение в течение требуемого периода. Это предполагает настройку и видоизменение правил алгоритма, чтобы обеспечить сохранение значимости получаемых результатов.

«Данные постоянно меняются, и применяемая модель не должна деградировать, – пояснила Ринг. – Однако постоянные обновления требуют затрат, которые могут превысить затраты на составление отчетов бизнес-анализа внутренней ИТ-службой».

При этом стоимость услуг аутсорсинга может стать проблемой, особенно в крупных организациях со сложными операционными моделями.

Преимущество: простота масштабируемости и быстрый путь к зрелому анализу

Помимо возможности приобрести навыки анализа данных, аутсорсинговые услуги могут помочь организации быстро выстроить аналитическую инфраструктуру, создать которую своими силами весьма затруднительно или вообще невозможно.

«Анализ данных стал естественной составляющей при ведении бизнеса и сегодня представляет собой нечто большее, чем совокупность хранилищ данных и бизнес-анализа, – указал директор Gartner по исследованиям данных и их анализу Йорген Гейзенберг. – Однако предприятие не всегда в состоянии справиться своими силами с тем уровнем масштабируемости и сложности, который требуется. Чаще всего организации обращаются за внешней поддержкой при отсутствии внутренних ресурсов, позволяющих удовлетворить растущий спрос».

Еще одним фактором может стать стремление сократить затраты при приобретении аналитических услуг, поскольку их поставщики зачастую используют уже имеющиеся у них аналитические ресурсы — фреймворки и ускорители.

«Использование технических наработок провайдера, будь то организация хранилища данных, автоматизация и внедрение роботизированных процессов или применение облачных инструментов, может стать большим плюсом, – добавила Клоуз. – Передача анализа данных поставщику услуг аутсорсинга способствует переходу на такие инновационные решения, которые в настоящее время предприятием даже и не рассматриваются».

Недостаток: потеря контроля над хранением данных и аналитическими моделями

Любой аутсорсинг предполагает отказ от чего-либо, выполняемого своими силами (например, от контроля), а иногда даже от собственных сотрудников. При аутсорсинге анализа одной из главных приносимых жертв могут стать аналитические модели.

«Клиент обычно предоставляет поставщику услуг свои данные, а тот, в свою очередь, возвращает ему ответы на интересующие его вопросы, – пояснила Ринг. – При такой модели клиент не владеет ни логикой, ни алгоритмами. В его распоряжении остаются лишь данные и полученные рекомендации. Моделей, подходов, фреймворков и конфигураций он лишен».

У компаний, передающих анализ данных на аутсорсинг, могут возникнуть вопросы и в отношении хранения их данных. Действительно ли это хранение организовано наилучшим образом? Есть ли в ЦОДе провайдера выделенная среда для вашего предприятия? Или же все данные находятся в «разделяемой» среде публичного облака?

Преимущество: постоянное обеспечение законодательных требований к защите данных

По мере роста объемов данных в процессе управления ими и их анализа организация подвергается риску не соблюсти нормативные требования, установленные регуляторами.

Разница между политиками управления и безопасности в различных источниках данных порождает дополнительные трудности при переходе к аудиту в озерах данных.

«После вступления в силу требований к защите персональных данных и правил General Data Protection Regulation (GDPR) потребность в простом аудите может дополнительно подстегнуть поиски внешнего аутсорсингового партнера», – подчеркнула Ринг.

Недостаток: необходимость иметь стратегию управления данными

Для дальнейшей демократизации данных внутри организации директору по данным нужна общекорпоративная стратегия сбора, управления и обмена данными.

Уровни управления и анализа на условиях самообслуживания должны быть спроектированы правильно, с тем чтобы поддерживать различные сценарии использования. Вот почему роль директора по данным приобретает такое важное значение.

«В конечном итоге директор по данным отвечает за организацию взаимодействия бизнеса и ИТ в процессе управления данными, – пояснила Ринг. – Если в организации, передающей анализ данных на аутсорсинг, директора по данным нет, ее успехи, скорее всего, окажутся весьма скромными».

Преимущество: рост потенциальной ценности данных

Как уже отмечалось, данные – это новая валюта для бизнеса, и в их анализе заложен большой потенциал для получения конкурентных преимуществ.

«С переходом на машинную обработку данных потенциал данных и их анализа существенно изменился, – указала Саис. – Как и в любом цифровом бизнесе, мы сталкиваемся с дезинтермедиацией, в результате чего ценности остаются на двух сторонах бизнеса: на стороне данных, а также на стороне бизнес-анализа и поддержки принятия решений».

Следовательно, возможным преимуществом аутсорсинга становится возможность укрепить рынок данных и построить альтернативные бизнес-модели с независимой третьей стороной, которая управляет хранением данных множества организаций и продвигает концепцию анонимной и безопасной платформы обмена данными.

Недостаток: потенциальные конфликты

Подписывая аутсорсинговые соглашения, все рассчитывают на то, что взаимоотношения между сторонами будут развиваться гладко. Но могут возникнуть вопросы, которые поставят под угрозу гармонию этих взаимоотношений. Такая вероятность особенно велика, если в компаниях не озаботились тщательным изучением заключаемых договоров.

«При аутсорсинге анализа данных организации зачастую забывают о ключевых условиях, связанных с разрывом договора, управлением данными, правами на интеллектуальную собственность, ответственностью, основными параметрами и соглашениями об уровне сервиса, ценовой моделью, а также привлечением дополнительных ресурсов и увеличением затрат, – пояснил Гейзенберг. – Все это приводит к потенциальным конфликтам как в ходе взаимодействия, так и после его завершения».

– Bob Violino. The pros and cons of outsourcing data analytics. CIO. JUN 12, 2018

Сегодня, когда в компаниях практически всех отраслей стремятся получать максимальную отдачу от доступных растущих информационных ресурсов, одними из самых востребованных специалистов стали эксперты по данным (data science).

Ценность этой специальности будет расти и дальше по мере того, как в организациях будут ставить себе на службу всевозможные внутренние и внешние источники информации. В прошлом работа с данными была по большей части технической: сотрудники соответствующих отделов «колдовали» над базами данных, поставляя информационное «топливо» для корпоративных систем, чтобы бизнес-руководители могли готовить отчеты и повышать финансовые результаты.

Технические функции по-прежнему важны, но сегодня восходящими звездами бизнеса становятся специалисты-универсалы, умеющие не только манипулировать огромными объемами информации при помощи статистических методов и наглядных репрезентаций, но и способные точно прогнозировать развитие событий и устранять возможные помехи бизнесу.

Что именно нужно, чтобы стать экспертом в области науки о данных? Перечислим основные качества и навыки, необходимые такому специалисту.

Критическое мышление

Способность критически мыслить необходима для объективного анализа фактов, перед тем как сформулировать мнение или вынести суждение по решаемой проблеме.

Вникнув в суть задачи бизнеса, нужно уметь выделить то, что действительно важно для ее решения, и отбросить несущественное. Этот навык – один из определяющих для специалиста по данным.

Наряду с опытом необходима способность отбрасывать стереотипы. С одной стороны, нужны базовые знания в широком круге областей, с другой – четкое понимание того, что опыт и интуиция не гарантируют стопроцентного успеха. Опыт дает преимущество, но излишняя самоуверенность создает риск, поэтому способность к нешаблонному мышлению имеет большое значение.

Но смысл не в том, чтобы смотреть на любые ситуации широко открытыми глазами новичка, а в том, чтобы оценить проблему под разными углами.

Программирование

Лучшие исследователи данных умеют писать код и способны решать широкий круг задач программирования. Предпочтительным языком программирования для науки о данных становится Python, немало поклонников есть у R. Применяются и другие, в том числе C++, Scala, Closure, Java и Octave.

При этом, помимо общих знаний в области работы с большими объемами данных, с информацией реального времени, облачными сервисами и неструктурированными данными, нужны знания в области статистических методов и моделей – в частности, представление о концепциях регрессии, оптимизации, кластеризации, деревьев принятия решений и т. п.

Если у самого исследователя данных нет навыков программирования, можно положиться на соответствующих специалистов. Партнерство между разработчиком и ученым по данным может быть весьма плодотворным.

Математика

Наука о данных – не лучший выбор для тех, кто не любит математику и не получил соответствующего образования.

Крупным организациям требуется разработка сложнейших статистических моделей финансовой и операционной деятельности, для обеспечения достоверности которых нужны огромные объемы данных. Создание моделей, приносящих реальную пользу при разработке и оптимизации бизнес-стратегий, невозможно без соответствующей математической подготовки.

Ученый по данным должен не только превосходно разбираться в статистике, но и уметь работать в тесном взаимодействии с бизнес-руководителями, а им обычно требуются доходчивые разъяснения происходящего в «черном ящике». Только в этом случае бизнес будет ощущать доверие к полученным вами результатам и предоставленным рекомендациям.

Машинное обучение и искусственный интеллект

Эти направления сегодня развиваются чрезвычайно быстро благодаря росту доступных мощностей, сетевых соединений и возможностей сбора данных. Ученому по данным необходимо быть в курсе последних разработок и понимать области применения различных технологий. Однако стоит избегать внедрения заманчивого новшества, если для решаемой задачи будет достаточно намного менее сложных средств.

Данные «сами» помогут прийти к выбору технологии, когда будет глубокое понимание проблемы и ограничительных условий, включая вычислительные затраты, интерпретируемость, характеристики сети, уровень ожиданий заказчика и т. п.

Вместе с тем нужны навыки в области использования статистических методов. Работодатели не всегда это учитывают, поскольку сегодня широко доступны соответствующие автоматизированные средства, в том числе с открытым кодом. Однако без статистических знаний не будет понимания ограничений таких инструментов.

Недостаточно уметь освоить интерфейсы для работы с готовыми реализациями алгоритмов машинного обучения. Чтобы выбрать подходящий, необходимо понимать статистические методы и принципы предварительной подготовки данных для оптимизации скорости работы модели.

Важны также знания в области компьютерной науки, в частности основ программной инженерии.

Коммуникативные способности

Важность коммуникативных навыков стоит особо подчеркнуть. В службах ИТ сегодня практически ничто не делается «в вакууме»; всегда есть взаимодействие между различными системами, приложениями, данными и людьми. Не исключение и процессы исследования данных, поэтому готовность общаться – одно из важнейших качеств.

Необходимо умение доступно объяснять математические выкладки и превращать их в практические знания. Ученый по данным, работающий на пересечении ИТ, статистических методов и бизнеса, должен быть способным изложить полученные результаты в нужной форме любому из заинтересованных лиц.

Нужно уметь разъяснять топ-менеджерам преимущества данных для бизнеса, возможности технологий и вычислительных ресурсов, проблемы качества данных, приватности и конфиденциальности, а также другие вопросы, имеющие значение для организации.

Иметь хорошие коммуникативные навыки – значит быть способным облечь в доступную форму сложную техническую информацию, но при этом точно и исчерпывающе передать ее смысл. Не стоит забывать, что работа ученого по данным приносит результаты, которые могут и будут использоваться для поддержки руководящих решений.

Исследователю данных нужны знания в области бизнеса и способность задавать верные вопросы бизнес-руководителям, чтобы понять суть проблемы и разобраться, какие именно данные будут полезными для ее решения.

Кроме того, нужно умение разъяснять принцип действия алгоритмов. Способность рассказать, как именно система пришла к тому или иному выводу, важна для завоевания доверия руководства к прогнозным моделям, которые используются в рамках их бизнес-процессов.

Архитектура данных

Понимание всех процессов, через которые проходят данные от источника до создания модели и принятия бизнес-решения, – обязанность ученого по данным.

Отсутствие понимания архитектуры данных ведет к ошибкам в размере выборки и предположениях, обусловливая неверные результаты и решения.

Что еще хуже, может появиться необходимость менять сами элементы архитектуры. Без исходного понимания ее влияния на модели вы можете застрять в бесконечных доработках, раз за разом получая неточные результаты и тщетно пытаясь разобраться в причинах.

Hadoop избавляет от необходимости перемещать большие данные, обрабатывая их в месте хранения, однако знание всех подробностей конвейера обработки по-прежнему важно для обеспечения принятия качественных, обоснованных решений.

Анализ рисков, оптимизация процессов, системная инженерия

Исследователю данных необходимо понимать принципы анализа бизнес-рисков, улучшения процессов и системной инженерии. Соответствующие навыки применяются комплексно как при работе над моделями, так и при взаимодействии с заказчиком, в частности для получения от него исчерпывающих сведений о решаемой задаче.

Для снижения рисков методы их анализа нужно применять с самого начала разработки моделей. Способность выбирать компромиссы между затратами на улучшение процессов и полученными преимуществами, понимание типичных рисков вашей компании и знание потенциального влияния различных систем на ваши данные и предоставляемые результаты помогает повысить удовлетворенность заказчика.

Способность к решению проблем и бизнес-чутье

Ученому по данным необходимы качества, помогающие справляться с проблемными ситуациями. Прежде чем вытащить весь свой арсенал инструментов, исследователь данных рассматривает проблему под многими углами, стараясь вникнуть в суть. Он скрупулезно подходит к своей работе и способен доступно разъяснить полученные результаты.

Именно на эти свойства, помимо склонности к критическому мышлению, следует обращать внимание при найме технического специалиста на должность ученого по данным.

В целом сочетание навыков хорошего ученого по данным выглядит действительно редким: высокие интеллектуальные способности для решения задач обработки данных и создания эффективных моделей, хорошее понимание проблем бизнеса, знание структуры данных и принципов работы различных алгоритмов.

Первое из перечисленного найти проще – необходимые качества обычно есть у большинства выпускников высших учебных заведений с математическими, инженерными и другими техническими специальностями. А вот с изложением принципов действия моделей сложнее. По свидетельству работодателей, весьма распространена ситуация, когда на собеседование приходит человек с опытом построения сложных моделей, но при этом неспособный внятно объяснить, почему именно та или иная модель сработала и на каком основании был выбран конкретный подход к реализации.

Даже если сама модель делает точные прогнозы, без понимания принципа действия доверия к ней будет меньше. Поэтому залогом успешной карьеры на поприще науки о данных будут глубокие познания механизмов работы различных алгоритмов в сочетании с развитой интуицией.

– Bob Violino. Essential skills and traits of elite data scientists. CIO. MAR 27, 2018

Большие Данные и средства их анализа способны изменить сложившиеся условия игры, предоставив информацию, которая поможет отбросить конкурентов, сгенерировать дополнительные доходы из новых источников и улучшить обслуживание клиентов.

Вместе с тем инициативы, связанные с анализом Больших Данных, могут обернуться грандиозными провалами, которые приведут к растратам денег и времени, не говоря уже о потере талантливых технических специалистов, оказавшихся жертвами просчетов руководства.

Как избежать провалов, связанных с Большими Данными? Некоторые рекомендации очевидны и касаются основ управления: заручитесь поддержкой людей из числа высшего руководства, обеспечьте достаточное финансирование всех необходимых технологических нововведений, привлеките экспертов и организуйте качественное обучение на местах. Если не решить эти основополагающие вопросы, все остальное уже не имеет значения.

Но предположим, что все основные условия соблюдены. В этом случае успех будет зависеть от того, насколько качественно решаются технические задачи анализа Больших Данных. Перечислим, что можно сделать для успешного завершения таких проектов.

1. Тщательно выбирайте инструменты анализа Больших Данных

Многие технологические провалы объясняются тем, что компании покупают и внедряют продукты, не слишком подходящие для тех задач, которые они пытаются решить. При описании своих продуктов все поставщики с удовольствием оперируют терминами «Большие Данные» и «передовые аналитические средства», пытаясь извлечь выгоду из модных словечек.

Однако продукты существенно различаются не только по качеству и эффективности, но и по своему предназначению. Поэтому, даже если вы выбираете неплохой с технической точки зрения продукт, он может не вписаться в те задачи, которые вам необходимо решить.

Есть базовые моменты, которые присущи почти всем инициативам, связанным с анализом Больших Данных. Они касаются, например, преобразования данных и архитектуры хранения (Hadoop и Apache Spark). Вместе с тем в направлении анализа Больших Данных существует множество различных ниш, и конкретные продукты следует подбирать для ниш, соответствующих вашей технологической стратегии. К этим нишам относятся процессный анализ, прогнозная аналитика, решения, работающие в реальном времени, искусственный интеллект и инструментальные панели для бизнес-анализа.

Прежде чем принять решение о покупке любых продуктов для анализа Больших Данных или платформ хранения, необходимо оценить, какие конкретные задачи стоят перед бизнесом, и выбирать продукты, позволяющие эффективно решать именно эти конкретные вопросы.

«Можно, скажем, выбрать когнитивные продукты Больших Данных – например, средства искусственного интеллекта, – для анализа неструктурированной информации, поскольку обрабатывать большие объемы данных в этом случае очень сложно, – указал руководитель направления Больших Данных в телекоммуникационной компании Vodafone Исраэль Экспозито. – Но не использовать когнитивные инструменты для структурированных и стандартизированных данных. Лучше внедрить какой-нибудь из продуктов, выполняющих качественный анализ и стоящих дешевле. Перед выбором окончательного варианта для рабочей среды имеет смысл проверить принятую концепцию по крайней мере на двух продуктах. А выбранный продукт должен быть интегрирован с вашей корпоративной платформой».

Любой аналитический инструмент для Больших Данных требует разработки модели данных в базовой системе управления предприятием. Это самая важная часть проекта. Здесь необходимо обеспечить тесное взаимодействие системных интеграторов и экспертов основных подразделений. Выделите необходимое время и решите соответствующие вопросы в первую очередь.

Важно помнить, что данные должны быть постоянно доступны и переведены на язык бизнеса, с тем чтобы пользователи четко понимали выходную информацию и могли использовать ее для реализации новых возможностей и улучшения процессов.

2. Убедитесь в том, что инструменты просты в использовании

Большие Данные и современные аналитические средства очень сложны. Продукты же, с помощью которых бизнес-клиенты осуществляют доступ к данным и их анализ, напротив, должны быть простыми в использовании.

Выберите простые и эффективные инструменты для групп Data Discovery, а также для проведения анализа и визуализации.

«Для регистратора доменов GoDaddy поиск правильного сочетания инструментов вылился в очень сложную задачу, поскольку они должны были обеспечивать быструю визуализацию и вместе с тем глубокий анализ, – отметила идеолог направления инструментов бизнес-анализа корпоративных данных компании Шерон Грейвс. – В итоге GoDaddy все же удалось найти продукты, которые помогали бизнес-пользователям легко находить нужные им данные и создавать их визуальное представление. Благодаря этому удалось высвободить ресурсы аналитиков для решения более сложных задач».

Нельзя предоставлять инструменты уровня программиста бизнес-пользователям, не имеющим технической подготовки. Они вызывают у них отторжение и желание вернуться к своим предыдущим инструментам, которые уже не подходят для решения стоящих перед ними задач.

3. Согласуйте проект – и данные – с актуальными потребностями бизнеса

«Еще одна причина провала усилий аналитиков Больших Данных заключается в том, что они начинают искать решение проблемы, которой на самом деле не существует, – указал главный научный сотрудник Лаборатории глобальных данных поставщика информационных услуг Experian Шанджи Сюн. – Вот почему прежде всего нужно очертить круг проблем и потребностей бизнеса, с тем чтобы правильно сформулировать аналитические задачи».

Ключевым условием здесь является привлечение к проекту, уже на начальном этапе, экспертов в предметной области, имеющих хорошую аналитическую подготовку. Совместно с исследователями данных они должны определить существующие проблемы.

Вот пример из собственной практики Experian. При разработке аналитических решений для борьбы с мошенничеством и подменой личности задача, с одной стороны, заключалась в оценке легитимности сочетания персональной идентификационной информации – ПИИ (имен, адресов и т. д.) с номерами социального страхования. А с другой – в оценке того, действительно ли клиент, обратившийся с заявкой на получение кредита, является тем, за кого себя выдает. Возможно, требовалось решить обе эти задачи.

«Первая задача связана с проблемой искусственной, синтезированной личности и требует построения аналитической модели, оценивающей риски создания искусственной личности на потребительском или ПИИ-уровне, – пояснил Сюн. – Вторая задача ­– это выявление мошенничества с приложениями, поэтому критерии оценки рисков необходимо закладывать на уровне приложений. В Experian должны были понять, что это разные проблемы (хотя изначально и могло показаться, что проблема одна, только сформулирована по-разному), и создать правильные модели и аналитические средства для их решения.

Когда набор ПИИ с заявкой на получение кредита представляется в две финансовые организации, обычным требованием является сводная оценка рисков, а для оценки мошенничества в приложении этого обычно не требуется.

Для проведения бизнес-анализа и выдачи точных прогнозов нужно, чтобы правильные алгоритмы применялись к правильным данным. Сбор и включение релевантных наборов данных в процесс моделирования почти всегда важнее тонкой настройки алгоритмов машинного обучения, поэтому главным приоритетом должно стать повышение качества данных.

4. Выстраивайте озера данных и не экономьте на пропускной способности

Большие Данные, как следует из названия этого термина, подразумевают наличие огромных объемов информации. В прошлом лишь очень немногие организации могли позволить себе хранить такие объемы, а возможности для их анализа имелись у еще меньшего числа. Но сегодня высокопроизводительные технологии хранения и крупномасштабная параллельная обработка данных получили повсеместное распространение как в облаке, так и в системах, развертываемых непосредственно на территории предприятий.

Однако одного лишь хранения еще недостаточно. Нужны средства управления различными типами данных, вписывающиеся в вашу концепцию анализа Больших Данных. Гениальное изобретение Apache Hadoop позволило хранить и получать представления огромных наборов разнотипных данных. Такие хранилища часто называют озерами данных. В озере данных находятся данные множества различных типов, поступающие из разных источников.

«Однако озеро данных не должно превращаться в свалку, – указал руководитель направления исследования компьютерных технологий Университета штата Аризона Джей Этчингс. – Необходимо найти разумные способы агрегирования данных и расширения их атрибутов. Данные могут быть разобщенными, но преобразование их для последующего анализа с помощью MapReduce и Apache Spark следует выполнять только с надежно выстроенной архитектурой».

При создании озера данных процессы поглощения, индексации и нормализации должны быть хорошо спланированными компонентами стратегии Больших Данных. Без четкого понимания и выраженной концепции большинство инициатив, требующих интенсивной обработки данных, обречено на провал.

Жизненно важное значение имеет и наличие достаточной пропускной способности. В противном случае данные из различных источников просто не попадут в озеро данных достаточно быстро, для того чтобы быть полезными бизнес-пользователям. Чтобы эффективно оперировать масштабными ресурсами данных, требуются не только быстрые диски, которые способны выполнять миллионы операций ввода-вывода в секунду, но и взаимосвязанные узлы и модули обработки, получающие доступ к данным по мере их генерирования.

Скорость особенно важна для выполнения анализа в реальном времени. И в этом смысле системы Больших Данных унаследовали тенденции маршрутизации трафика от социальных сетей. Так что выстраивайте свои озера данных на базе самых быстрых соединений.

5. Обеспечьте безопасность всех аспектов Больших Данных

Высокий уровень гетерогенности компонентов вычислительной инфраструктуры существенно увеличил возможности организации в части быстрого извлечения из данных полезной информации. Но здесь есть и обратная сторона. Системы стали слишком сложными с точки зрения управления и обеспечения безопасности. Огромные объемы информации и важность большинства систем анализа Больших Данных не позволяют заранее принимать меры к обеспечению их безопасности, что впоследствии может привести к серьезным неприятностям.

Большая часть собираемых, хранимых, анализируемых и используемых компаниями данных представляет собой информацию их клиентов, в том числе персональную и идентификационную. Если такие данные попадут в чужие руки, результаты будут вполне предсказуемы: судебные иски и возможные штрафы со стороны регуляторов приведут к финансовым потерям, повредят бренду и деловой репутации, а также вызовут недовольство клиентов.

Меры безопасности должны предусматривать развертывание основных корпоративных инструментов, обеспечивающих шифрование, когда это возможно, управление идентификацией и доступом, а также сетевую безопасность. Кроме того, они должны включать применение политик и обучение правильному доступу к данным и их использованию.

6. Сделайте управление данными и их качеством своим главным приоритетом

Обеспечение хорошего управления данными и их качеством должно стать неотъемлемой составляющей всех проектов анализа Больших Данных – в противном случае вероятность неудачи сильно возрастет.

Необходимо гарантировать актуальность, точность и своевременность доставки данных. В рамках инициативы Больших Данных компания GoDaddy организовала рассылку менеджерам уведомлений о задержках или аварийном завершении процедур обновления данных. В GoDaddy реализована также проверка ключевых показателей качества данных с рассылкой предупреждений в том случае, если эти показатели не соответствуют ожидаемым.

Эффективность управления данными и их качеством во многом зависит от подбора опытных профессионалов, в том числе директора по управлению данными и других руководителей, которые будут курировать эту область. С учетом стратегической важности соответствующих инициатив предприятия испытывают сегодня реальную потребность в выстраивании эффективных политик и процедур управления принадлежащими им данными.

– Bob Violino. How to avoid big data analytics failures. InfoWorld. August 7, 2017