Hadoop

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

Искусственный интеллект и машинное обучение сегодня стали настоящей притчей во языцех. Эти технологии имитируют работу человеческого разума, помогая повышать эффективность бизнеса. А для компаний, вступающих на путь цифровой трансформации, искусственный интеллект считается краеугольным камнем новых сервисов, помогающих привлекать клиентов.

Предприятия общественного питания, розничная торговля и авиакомпании внедряют чатботов, способных общаться с клиентами так, как это делают живые сотрудники. По заявлениям IBM, платформа искусственного интеллекта Watson поможет вылечить рак (пока, впрочем, особых успехов нет, если судить по сообщениям в СМИ). Гигант сельскохозяйственного машиностроения Deere & Company приобрел за 305 млн долл. стартап Blue River Technologies, выпускающий оборудование для «умной» мелиорации, в котором задействовано машинное обучение. В Uber, невзирая на все юридические скандалы последнего времени, рассказывают о Michelangelo – внутренней платформе искусственного интеллекта в виде сервиса, которая, как заявляют в компании, «демократизирует машинное обучение, делая масштабирование искусственного интеллекта в зависимости от потребностей бизнеса столь же простым, как заказ такси».

Но, как это часто бывает, шумиха так и остается шумихой. В большинстве компаний ожидания очень сильно отличаются от реальности, и это подтверждают свежие данные MIT Sloan Management Review и The Boston Consulting Group, полученные по результатам опроса свыше 3 тыс. руководителей в различных странах мира. Лишь 20% топ-менеджеров сообщили, что в их компаниях внедрили какие-либо средства искусственного интеллекта, и меньше чем у 39% есть конкретная соответствующая стратегия. При этом 85% руководителей убеждены в том, что искусственный интеллект поможет их компаниям приобрести или сохранить конкурентное преимущество.

Некоторые ИТ-директора пытаются внутри своих компаний заниматься разработкой решений на основе искусственного интеллекта и машинного обучения и даже патентуют подобные изобретения. CIO.com расспросил таких ИТ-руководителей о том, как именно в их компаниях используется машинное обучение.

Ставка на углубленный анализ клиентуры

Как и все крупные банки, U.S. Bank собрал обширный объем данных по клиентам, но сведения, представляющие практическую ценность, из этой информации извлекать не удавалось. Последние несколько месяцев в ИТ-службе прикладывают все силы к тому, чтобы изменить ситуацию. Внедрена платформа машинного обучения Einstein компании Salesforce.com, чтобы сделать услуги доступными для юридических и физических лиц.

Скажем, если клиент заходил на сайт банка в поисках информации об ипотечном кредитовании, то, когда он в следующий раз зайдет в один из филиалов, сотрудник банка сможет обратиться к нему с заманчивым предложением. Кроме того, технология помогает обнаруживать закономерности, не всегда заметные людям. Например, Einstein может порекомендовать, чтобы сотрудник позвонил потенциальному клиенту в четверг с 10 утра до полудня, поскольку в это время он с большей вероятностью поднимет трубку.

Похожие возможности сегодня пытаются реализовать во многих организациях сферы финансовых услуг – получив исчерпывающий обзор клиентов, можно предлагать нужные им услуги в подходящие моменты.

Совет: запаситесь терпением и приступите к освоению машинного обучения и искусственного интеллекта – начните с изучения и тестирования. Будьте готовы расширить масштаб систем, доказавших свою работоспособность. Всегда ориентируйтесь на клиента, задаваясь вопросом, какую пользу ему принесет то или иное новшество.

Машинное обучение избавляет от рутины

В компании Mastercard заявляют, что машинное обучение «сегодня лежит в основе всей ее деятельности». В компании новые технологии используют для автоматизации «рутинного труда, чтобы освободить людей для выполнения продуктивной работы, приносящей реальную пользу».

В компании также пользуются средствами машинного обучения, помогающими оптимизировать изменения ассортимента продуктов и услуг. Например, система такого рода помогает определить, какие изменения будут наименее рискованными, а какие нуждаются в дополнительном анализе. Кроме того, технологии машинного обучения применяются в системе безопасности, предупреждающей о попытках взлома; как только обнаружено подозрительное поведение, срабатывают «предохранители», защищающие сеть. Обнаруживать мошеннические действия помогает самообучаемый механизм ранжирования транзакций, который, отслеживая каждую операцию, обновляет данные и указывает (в баллах) насколько велика вероятность проблем.

При этом средства искусственного интеллекта и машинного обучения – это лишь часть обширного инструментария оператора системы обработки платежей.

Совет: хотя сегодня уже доступен широкий выбор средств, основанных на новых технологиях, ИТ-директорам не стоит рассчитывать на то, что эти средства волшебным образом решат все проблемы их бизнеса.

Искусственный интеллект как фактор развития продуктов и бизнеса

В Adobe Systems идет перестройка ИТ-департамента согласно новой операционной модели, основанной на данных. Для получения знаний, помогающих оптимизировать управление ИТ-отделом и бизнесом в целом, используется аналитика Hadoop. В рамках новой стратегии ведутся эксперименты со средствами машинного обучения, используемыми при анализе заявок в службу поддержки, чтобы потом выявить тенденции системных сбоев. По замыслу, система, заметив события, указывающие на вероятность отказа, оповещает об этом, и тогда можно заранее принять меры, чтобы предотвратить аварию или ослабить последствия.

Выявление закономерностей, приводящих к отказам ИТ-сервисов, также позволит Adobe проводить «самолечение», чтобы перенести на автоматику часть обязанностей, сейчас выполняемых ИТ-персоналом. Изучаются технологии чатботов, которым предполагается поручить прием заявок от сотрудников на техническую поддержку. Внедряют искусственный интеллект и в подразделении Adobe по работе с коммерческими клиентами. Уже почти год развивается Sensei, система искусственного интеллекта, которая используется для управления документооборотом, а также в системах мониторинга и анализа производительности веб- и мобильных приложений компании.

Совет: использование машинного обучения для идентификации закономерностей – ключ к реализации возможностей «самолечения». Зная, как именно можно исправить проблему, вы можете поручить это сделать автоматике, избавив от такой необходимости людей.

– Clint Boulton. 3 machine learning success stories: An inside look. CIO. SEP 19, 2017

Большие Данные – с этим явлением компания сталкивается, когда поток входящих данных превосходит ее технические возможности по обработке и извлечению полезной информации, а сложность ландшафта превышает возможности технологий по быстрому сбору данных», – высказал мнение Дмитрий Первухин, начальник управления технологий сбора и хранения данных ВТБ24, выступая на форуме BIG DATA 2017, организованном издательством «Открытые системы». В этом случае бесполезно говорить о наращивании мощности, применении каких-либо новых инструментов. Необходимо кардинально менять мировоззрение и тематический подход.

Начальник управления технологий сбора и хранения данных ВТБ24 Дмитрий Первухин: «Технология озер данных позволяет быстро проводить натурные эксперименты с данными. При этом стоимость эксперимента стремится к нулю»

Когда компания «захлебывается» данными, у нее возникают проблемы. Главная – это очень высокая стоимость владения информацией при ее крайне низкой пользе. Чтобы представить эту информацию потребителю, нужно сначала ее извлечь, обработать, обеспечить качество данных, развернуть мощные аппаратные комплексы корпоративного класса, стоимость которых начинается от 30 тыс. долл. за 1 Тбайт. Проекты требуют космических затрат, а пользы от этих данных, как правило, очень мало. Зачастую речь идет об элементарных управленческих отчетах.

Поскольку данные хранятся в разных источниках, различных форматах и между собой никак не согласованы, они недоступны для анализа и моделирования, позволяющих использовать их в процессах прогнозирования и скоринга. Дополнительная проблема – крайне длительное время вывода продуктов на рынок. Разработка внутри банка, интеграция источников, включение их в технологические процессы могут занимать от нескольких месяцев до нескольких лет. Борьба за качество данных превращается в бесконечный и бесперспективный процесс, который обычно ничем не заканчивается.

Data Science – это эксперименты

«Большие Данные» вовсе не означают «много данных». Сама философия Больших Данных предлагает осознать, что «много» – понятие относительное.

«Например, мы работаем с корпоративным хранилищем на платформе Teradata размером 140 Тбайт, но телеком-операторов эти объемы не впечатлят, а есть много других банков, для которых даже этот объем – недостижимая величина», – рассказывает Первухин. Вопрос именно в том, успевает ли организация обрабатывать эти данные, получить от них пользу или они просто занимают место в хранилище. Если с обработкой данных проблем не возникает, то можно продолжать работать по-прежнему, а если сложности появляются, то надо брать на вооружение подходы Больших Данных.

Большие Данные – это набор технологий и методов математической статистики, позволяющий в многообразии данных получить статистически значимые результаты. Все остальное решается стандартными методами. Когда данных становится слишком много, приходится переходить к статистике, обрабатывать ее и получать тенденции, которые можно применять к тем или иным процессам.

К сожалению, использование Больших Данных сильно связано с человеческим фактором. В этом деле многое зависит от знаний имеющихся экспертов, нужны люди, знающие структуру данных компании и способные на основе своих знаний решать определенные аналитические задачи. Эти люди постепенно превращаются в айтишников, заточенных на выполнение конкретных бизнес-функций и превращающих данные в полезную информацию. Простые ИТ-специалисты не владеют бизнес-контекстом в достаточном объеме для решения таких задач.

«Data Science – это всегда эксперимент. Мы хотим сначала посмотреть на данные, оценить их качество и пользу, после чего принимаем решение об их промышленном использовании», – отмечает Первухин.

Расширение, но не замена

Использование Больших Данных требует централизации, построения организованного процесса по сбору и структурированию информации. Есть компании, в которых создают целые службы по управлению данными и их качеством. Зачастую это вполне оправданно: надо осознать, где какие данные лежат, как они могут использоваться. При работе с Большими Данными приходится прибегать к технологии озер данных, когда источник данных становится распределенным.

«Стремление впихнуть все данные в единое хранилище не закончится ничем хорошим. Объем появляющихся данных растет гораздо быстрее, чем способность ИТ дорабатывать техническую часть, обеспечивая попадание данных в хранилище и реальное их использование аналитиками», – объясняет Первухин.

Вместе с тем Большие Данные – это набор технологий, расширяющий, но отнюдь не заменяющий существующие решения. Например, инструмент Hadoop – всего лишь один из способов распределенного хранения данных с определенным образом структурирования. Он удешевляет хранение и позволяет построить аналитическую фабрику, в рамках которой возможно использование инструментов аналитики для построения моделей и проверки предположений. Конечно, это хранилище данных может использоваться в самых разных задачах – от отчетности до расчета кешбэка по операциям клиента, однако такая система в силу распределенности данных не может обеспечить пользователя отчетностью так оперативно, как ему это требуется. Поэтому правильнее применять традиционные решения.

Большие Данные – это набор технологий и методов математической статистики, позволяющий в многообразии данных получить статистически значимые результаты

«Песочница» для аналитиков

«В начале 2014 года коллеги из департамента рисков предложили создать модель, помогающую оценить, как изменения в кредитной политике влияют на бизнес-результаты, – рассказывает Первухин историю создания в ВТБ24 озера данных. – Они предлагали для анализа эффективности кредитной стратегии использовать логи кредитного конвейера». Речь шла об объеме данных из каждой системы 5-10 Тбайт в год (таких систем было семь), выкладывать такой объем в существовавшее хранилище Teradata было долго и дорого.

На одной из конференций специалисты банка заинтересовались платформой Hadoop в реализации Cloudera и начали создавать решение на ее основе. Первыми опытами заказчики остались недовольны: доля информации, полезной для решения их задач, не превышала 5%. Они начали экспериментировать, добавлять в хранилище внешние источники данных, проверяя их ценность, – Пенсионный фонд и другие источники. И, несмотря на то что первый блин вышел комом, вскоре выяснилось, что в результате банк получил весьма ценный своей гибкостью и скоростью разработки инструмент.

«Выяснилось, что технология озер данных позволяет быстро проводить натурные эксперименты с данными. Взять данные из источника, добавить их к имеющимся, проверить гипотезу силами одного аналитика. Стоимость эксперимента стремится к нулю», – подчеркивает Первухин. В случае успешного эксперимента принимается решение о дальнейшем использовании данных с помощью промышленных аналитических инструментов.

Когда источник данных становится распределенным, приходится прибегать к технологии озер данных

В Hadoop полностью копируются данные хранилища; кроме того, там располагаются данные для моделирования, а также «бизнес-песочница» – место, куда пользователи сами выкладывают данные из доступных источников, в том числе внешних. Объем озера данных на данный момент составляет 288 Тбайт на 12 узлах.

«Когда подсчитали, во что обойдется такой же комплекс для экспериментов с данными на решениях корпоративного класса, оказалось, что потребовалось бы от 3,5 до 6,5 млн долл. Hadoop позволил обойтись суммой в 500 тыс. долл.», – отмечает Первухин.

За год работы «аналитической фабрики», по самым скромным оценкам, было получено 1,2 млрд долл. дополнительных доходов, а продажи увеличились на 30 млрд руб. Этого удалось добиться главным образом благодаря точной настройке рисковых моделей – в особенности поведенческих моделей клиентов, на основе которых рассчитывается вероятность дефолта. Если же говорить о моделях, направленных на борьбу с мошенничеством, то эффект от снижения числа операций, ошибочно попадающих в разряд рискованных, посчитать сложнее, но он тоже очень серьезен. К тому же за счет более точной сегментации клиентов на 7% увеличился отклик в маркетинговых кампаниях, и на 5% – средний чек.

Именно благодаря технологиям Больших Данных удалось достичь большей точности, учесть в моделях большее количество факторов. Многократно проводя расчеты, эксперты отбирали действительно наиболее значимые из них.

В последние годы «цифровая» составляющая столицы стремительно растет. Через портал госуслуг и мобильные сервисы горожане могу платить за коммунальные услуги и парковку, записывать ребенка в школу и на прием к врачу. О том, как проходила цифровая трансформация города до сих пор, и о планах на будущее рассказывает Андрей Белозеров, советник руководителя Департамента информационных технологий Москвы по стратегическим проектам и инновациям, возглавлявший разработку и внедрение более чем сотни информационных систем в области муниципального управления, образования, ЖКХ, транспорта и в ряде других сфер.

– В последние годы стало заметно, что Москва стремительно «оцифровывается», появляется очень много сервисов, основанных на информационных технологиях. Когда начался этот процесс, что послужило толчком к его началу?

Цифровую трансформацию города начала управленческая команда, которая пришла в мэрию в 2010 году. В первую очередь было задумано создать качественные сервисы для граждан. Фактически начинали с нуля: не было ни одного электронного сервиса, никаких приложений, для получения простейшей госуслуги нужно было обойти несколько инстанций, родители, чтобы записать ребенка в первый класс, ночевали в машинах рядом со школой. Тогда появился московский портал госуслуг – в конце 2016 года там были зарегистрированы уже 5,8 млн человек, и он был самым посещаемым госсайтом в стране, собирал 30 млн визитов в месяц. Стартовала разработка Единой мобильной платформы города, на базе которой сейчас работают 10 мобильных приложений и 20 SMS- и USSD-сервисов. Был инициирован проект по созданию сети центров обслуживания «Мои документы», тогда они назывались «многофункциональные центры», фактически это служба одного окна. В течение 2011-2013 годов закладывался и совершенствовался фундамент, на который теперь опираются новые сервисы.

– Опыт каких стран и городов оказался наиболее полезным?

Мы изучали опыт Эстонии с их электронными идентификаторами и электронными услугами, изучали опыт Сингапура, США. Кое-что переняли, но, думаю, процентов 80 того, что уже реализовано, сделано с учетом наших ментальных, законодательных и инфраструктурных особенностей. И с учетом тех идей, которые мы получали от горожан.

– Неужели ментальность играет большую роль?

Да, причем скорее ментальность не жителей города, а чиновников. Даже такая, казалось бы, простая вещь, как внедрение электронного документооборота в правительстве Москвы, сначала воспринималась в штыки. Служащие не понимали, как это – бумажного документа больше не будет, а есть флешка и на ней электронная подпись…

– Но сейчас они почувствовали, что так удобнее работать?

Конечно. Я считаю, что московские чиновники сейчас одни из самых прогрессивных в России, да, пожалуй, и в мире. Сегодня в переписке между департаментами Правительства Москвы и городскими службами бумажные документы в принципе не появляются: документ зарождается в электронной форме, подписывается электронной подписью, уходит в орган власти в электронной форме и расписывается на исполнителя в электронной форме. Многие совещания проводятся уже в виртуальном формате, когда подключаются несколько разных точек в городе и общение идет по видео-конференц-связи. Если раньше к каждому заседанию Правительства Москвы печатались тонны бумаги, то сегодня есть система заседаний и совещаний, куда загружаются все необходимые материалы. И если обратить внимание на телерепортажи с заседаний Правительства Москвы, то можно видеть, что все сидят с планшетами: все материалы доступны в электронном виде.

– Все наслышаны о центрах «Мои документы», о портале госуслуг. А есть крупные, но менее заметные проекты?

Есть проекты, которые более заметны разным категориям людей. Например, идет крупный проект «Московская электронная школа» по модернизации школьной инфраструктуры. В классах установят свыше 20 тыс. интерактивных панелей, специально сконструированных с учетом московской специфики. Почти 40 тыс. ноутбуков получат учителя-предметники для работы с электронным журналом и системой электронного образовательного контента.Запланирована модернизация локальных сетей, во всех учебных помещениях появится Wi-Fi – это 60 тыс. новых точек. Учителя пройдут обучение.

Огромный проект, один из самых масштабных в мире, ведется в столичном здравоохранении. Единая медицинская информационно-аналитическая система Москвы дает возможность горожанину записаться к врачу через терминалы в поликлиниках, мобильное приложение, контакт-центр, сайт и т. п. Но самое главное – она дает управленцам возможность отслеживать ресурсы поликлиник и их загруженность. Скажем, если на участке два терапевта, но один загружен на 200%, а другой – на 30%, то можно перераспределить нагрузку на участки и на врачей и тем самым снизить время ожидания врача для пациента.

Надо также отметить проект, предусматривающий создание системы городского видеонаблюдения, беспрецедентный по количеству видеокамер – их на улицах города установлено больше 147 тыс. Они используются как правоохранителями, так и коммунальными службами, контрольными органами и управленцами. Например, система помогает увидеть онлайн, как убирается снег, проверить, вывезен ли мусор, законно ли установлена рекламная конструкция.

Этот проект примечателен еще тем, что мы не вкладывались в строительство каналов видеосвязи и не закупали видеокамеры. Камеры и каналы связи городу не принадлежат – они принадлежат операторам связи, которые реализуют этот проект. Единственное, что принадлежит городу, – это единый центр хранения и обработки данных. Мы покупаем у операторов услугу по доставке картинки заданного качества в наш центр хранения с тех мест, которые мы определяем. Если картинка идет, мы платим, если нет – не платим и даже штрафуем.

Если бы мы реализовывали проект сами, то сначала потратили бы год-два на то, чтобы всю эту инфраструктуру построить за городские деньги, закупить камеры и т. д. У операторов инфраструктура есть, они ее используют и при оказании других услуг.

В Департаменте транспорта реализуют проект «Интеллектуальная транспортная система». Он включает в себя, в частности, системы организации дорожного движения (управление светофорами, наружными табло и т. д.), оплаты проезда на пассажирском транспорте. Система фото- и видеофиксации дорожных правонарушений способна не только измерять скорость, но и фиксировать, например, пересечение стоп-линий, сплошных линий. Автоматизирована служба парковки: «оцифрована» оплата парковки через мобильный телефон и фиксация факта ее отсутствия парковочной службой.

Несколько крупных проектов ведутся в области ЖКХ. Все машины, которые убирают снег и вывозят мусор, оснащены системой ГЛОНАСС, мы фиксируем телеметрический сигнал на карте и можем проверить, выполняет ли машина поставленную задачу – например, едет она с опущенной щеткой или с поднятой. Сейчас в четырех округах идет пилотный проект по созданию Единого диспетчерского центра. Жители этих округов используют для вызова сантехника или электрика единый городской телефон, по которому оператор колл-центра регистрирует электронную заявку.

После выполнения работ сотрудник контакт-центра звонит и спрашивает, доволен ли заявитель качеством работы, вовремя ли пришел мастер, каков был его внешний вид. Эти ответы тоже заводятся в систему, таким образом, мы имеем возможность рейтинговать и оценивать качество обслуживания москвичей. Сейчас есть пока только колл-центр, но до конца года мы запустим и электронные каналы. Житель сможет отслеживать статус своей заявки онлайн.

С целью совершенствования коммунальной инфраструктуры создается система учета потребления ресурсов. Например, в подвале ставятся контроллеры, которые фиксируют и передают в облако показания по объемам горячей воды, отопления, температурный график и прочее. Это дает нам возможность подсчитать, сколько потребляется ресурсов, не избыточна ли их подача, если на дворе тепло, не случилось ли аварийной ситуации.

Есть проекты по вовлечению граждан в управление городом: система электронных референдумов по городским проблемам «Активный гражданин», портал «Наш город», дающий возможность пожаловаться на недоработки коммунальных или иных служб, сайт crowd.mos.ru для совместной генерации идей для города. Есть десяток мобильных приложений и достаточно много мобильных сервисов. Они важны потому, что единственное, кроме паспорта и бумажника, что с собой носит человек, – это мобильный телефон. Мы должны быть всегда рядом с человеком, чтобы он в любой момент времени мог «дотянуться» до наших сервисов вне зависимости от своего местонахождения. А для этого мы развиваем городскую сеть Wi-Fi – в ней на конец прошлого года было 1100 точек в пределах Садового кольца.

Весной прошлого года заработал «Мосробот» – средство персонифицированной коммуникации с жителями. Подписавшись на него, можно получать информацию, интересную именно тебе, – когда отключат горячую воду, когда будет уборка снега на твоей улице и т. д. Уведомления и рекомендации от «Мосробота» получают почти три миллиона москвичей.

Это, пожалуй, самые крупные наши проекты по цифровому преобразованию города.

– Последняя известная инициатива – проект «умного квартала» в Люблино. В чем его суть?

Термин smart city, «умный город», сейчас очень популярен. Единого стандарта пока нет, но понятно, что имеется в виду удобный для жизни и экономически эффективный город, а достигнуто это должно быть посредством информационных технологий – Интернета вещей, Больших Данных и т. д.

В Барселоне, Хельсинки и ряде других городов существуют «умные кварталы», где испытываются новые технологии в области освещения, потребления коммунальных ресурсов и пр. Мы решили попробовать реализовать такой же проект, взяли в Люблино шесть разнотипных домов, чтобы понять, какого рода технологии могут применяться в такой плотной городской застройке и что даст внедрение этих технологий.

Сейчас объявляется конкурс на проектирование квартала, с оценкой экономических, технологических и социальных эффектов, которые мы получим вследствие внедрения.

– Кто осуществляет все эти проекты? Какова роль ДИТ?

Информационные технологии не существуют сами по себе. Есть ИТ в ЖКХ, ИТ в образовании, в медицине. Заказчиками являются соответствующие департаменты, хотя мы тоже можем подсказать им идею. Наш департамент выступает проектным менеджером, участвует в разработке проекта, обеспечивает правильное проведение всех процедур – закупочных, отчетных. Разработка, как правило, отдается стороннему исполнителю, победившему на открытом конкурсе, у нас своих программистов немного. Но ряд критичных для города проектов мы потом «забираем» и осуществляем их поддержку своими силами.

– Из каких источников сейчас собираются и агрегируются данные в городе?

Какую-то информацию поставляют граждане через офлайновые или онлайновые каналы. Много данных уже поступает с разных датчиков, счетчиков, контроллеров, которые мы сейчас подключаем к городскому облаку.

Мы учимся работать со спутниковой информацией и данными дистанционного зондирования Земли. Их можно применять для самых разных целей: оценивать просадку зданий из-за ведущихся рядом строительных работ или в инфракрасном диапазоне находить утечки тепла.

Начали работать с медицинской информацией – снимками компьютерной и магнитно-резонансной томографии. Делаем пилотный проект на базе 6 тыс. изображений, с помощью нейронных сетей и средств машинного обучения тренируемся распознавать новообразования в легких. Пока мы находимся на стадии обучения нейронной сети.

Разработки ведутся на базе стека решений Hadoop. Это надежное ПО с открытым кодом, его используют Google, Amazon, наши сотовые операторы для обработки Больших Данных. Можно сказать, что Hadoop – это баланс между инновационностью и стабильностью.

– Импортозамещение сильно влияет на ваши технологические предпочтения?

Сама по себе идея импортозамещения – очень правильная. Все страны, развивающие информационные технологии, принимают протекционистские меры и стимулируют собственных разработчиков.

Другое дело, что мы не можем одномоментно отказаться от наших решений на Oracle. Да, их можно перевести на PostgreSQL, но это потребует времени и денег на тестирование и внедрение. А там, где возможно, мы внедряем российское ПО: у нас есть большой проект «Облачная бухгалтерия» – все школы, поликлиники и органы власти ведут бухгалтерский учет не в своих локальных программах, а в облаке на базе российского «1С».

Там, где есть надежные конкурентные продукты, способные выдерживать наши нагрузки, наше количество пользователей (а это десятки тысяч чиновников, миллионы граждан), мы их используем. Там, где таких продуктов пока нет, мы вынуждены использовать либо западные проприетарные решения, либо свободное программное обеспечение. На СПО у нас очень много проектов – например, на всех компьютерах врачей в ЕМИАС установлен Linux отечественной сборки.

– Продолжая технологическую тему – какой объем данных вы уже контролируете? Сколько их приходит в день от граждан, от датчиков?

Количество данных варьируется в зависимости от того, будний или выходной день, зима или лето. Ведь работают разные сервисы. Например, одна только система видеонаблюдения – это 147 тыс. камер, некоторые даже дают картинку в HD-качестве, и мы еще должны пять дней хранить архив. Мы постоянно храним 20 петабайт видеоданных.

– Можно ли оценить экономический эффект от цифровой трансформации города?

Город должен в первую очередь обеспечивать комфортную жизнь горожан, а не зарабатывать на них. Даже парковочная система – это для Москвы прежде всего средство упорядочивания городского пространства. Но информатизация способна существенно сэкономить городские деньги. Например, раньше финансирование школ шло по валовой смете: на каждую школу выделялось некоторое количество денег. И вот было принято решение о финансировании по подушевому нормативу, когда на школьника различных ступеней обучения выделяется некая сумма в год. Как результат, появился электронный реестр контингента. И только потому, что мы наладили электронный учет, у нас отсеялись «мертвые души», то есть те дети, которые на самом деле не учатся в этих школах. Город в итоге сэкономил 4 млрд руб.

– Какие основные проекты запланированы на текущий год?

Это проекты в образовании и в медицине. В образовании мы не только планируем обновить инфраструктуру и оборудование, но и хотим изменить сам учебный процесс. Город будет очень много вкладывать в создание контента, потому что электронный учебник – это не отсканированная страница учебника. Это тесты, это мини-игры, интерактивный контент, виртуальные лаборатории. После реализации этого проекта мы надеемся получить совершенно другое качество образования.

Что касается медицины: ЕМИАС позволила автоматизировать работу поликлиник, и мы будем создавать аналогичную систему для больниц, ее внедрение начнется уже в 2018 году.

Если говорить не об отраслевых, а о технологических перспективах, то у нас есть подразделение Smart City Lab – Лаборатория умного города, которая отслеживает все современные тенденции в информатизации. Через два-четыре года блокчейн, искусственный интеллект, компьютерное зрение, Большие Данные начнут менять жизнь нашего города.

В онлайн-ретейлере Wikimart в результате внедрения Hadoop создан инструмент, генерирующий существенную долю продаж сайта компании: при более чем скромных инвестициях получен заметный для бизнеса результат, и его можно реплицировать в других компаниях. На пути к эффективному использованию Больших Данных компания накопила огромный опыт, но и убедилась, что технологии не всегда оправдывают ожидания.

Интерес к технологическим новинкам зачастую опережает понимание, для решения каких бизнес-задач они могут быть полезны. Поэтому первые проекты, где модные концепции находят вполне практическое применение, всегда привлекают к себе внимание. Полученный первопроходцами опыт избавляет от иллюзий, делая взгляд на инновации более трезвым, а оценку потенциала — реалистичной, тем самым открывая путь к их широкому использованию в бизнесе.

Технологии Больших Данных уже перевалили через «пик завышенных ожиданий» на кривой Gartner (Hype Cycle) и начали спуск по «желобу разочарований», тем не менее об их зрелости говорить преждевременно. Такое мнение высказал Александр Аникин, руководитель аналитического отдела Wikimart, на форуме Big Data 2015, организованном издательством «Открытые системы». По его словам, практика показывает, что, несмотря на очевидный прогресс за последние годы, Hadoop все еще остается сырой технологией, инструменты Apache не выдерживают критики, а система управления данными неудобна.

Однако это не означает, что Большие Данные нельзя заставить работать на бизнес уже сегодня. Просто абсолютному большинству компаний, представляющих средний бизнес, не нужны супертехнологии, им вполне достаточно реляционных СУБД. А концепция Big Data, вокруг которой сегодня так много шума, не решает основных проблем эффективной работы с данными: ни технологических, которые могла бы решить, ни управленческих, которые она решить и неспособна.

Чтобы извлечь из Больших Данных реальную пользу, необходимо прежде всего четко представлять, для решения каких задач они подходят, и правильно подбирать средства для решения этих задач, учитывая сильные и слабые стороны как новых, так и уже имеющихся инструментов. Компании Wikimart удалось сделать это, выстроив с помощью Hadoop систему формирования рекомендаций для покупателей.

Матрица рекомендует

Wikimart — крупный торговый онлайн-центр, где на одной площадке представлены свыше 2 млн товаров от более чем 1,5 тыс. интернет-магазинов. Онлайн-ретейлеры загружают информацию о своих товарах на сайт гипермаркета и обрабатывают поступающие через него заказы. Выставленные на продажу товары автоматически попадают в общий каталог и становятся доступными покупателям. По сути, Wikimart — это сервисная компания, упрощающая процесс онлайн-торговли для ретейлеров, которые платят агрегатору разовую сумму за активацию своего партнерского счета, абонентскую плату в зависимости от размера выручки на площадке и комиссию 1–15% от каждого созданного заказа.

Благодаря ресурсам, вкладываемым в привлечение трафика, поисковую оптимизацию и контекстную рекламу, на сайт гипермаркета заходят более 300 тыс. посетителей в день. Компания регулярно анализирует поведение пользователей на сайте и оптимизирует дизайн, интерфейс и функционал площадки, чтобы повысить так называемую конверсию — долю посетителей, ставших покупателями. При этом в построении аналитической инфраструктуры Wikimart очень экономна и инвестирует в нее лишь тогда, когда это действительно необходимо. Аналитическая платформа Wikimart основана на классическом стеке Microsoft Business Intelligence и отдельно стоящем Hadoop-кластере на десять серверов, который работает на решении Cloudera. Из множества источников, в числе которых сайт, веб-счетчик, учетная система «1С», комплекс Asterisk-решений, данные пользователей, MySQL, а также сервисы контекстной рекламы «Яндекс.Директ» и Google AdWords, данные стекаются в классическое хранилище.

«Большинство шагов, прописанных в умных ИТ-руководствах по созданию хранилища данных, не приносят никакой пользы бизнесу, — говорит Аникин. — Мне всегда немного стыдно за то, что у нас работа с данными бывает организована не «по науке» — иногда мы просто переносим данные из источника в хранилище, особо не контролируя их целостность и не проверяя никакие справочники, и все работает, никто не жалуется. На конференции Big Data я понял, что можно назвать это Data Lake и не волноваться по этому поводу».

Между тем общий объем данных сам по себе не очень велик и составляет чуть больше 2 Тбайт. Сотрудники, имеющие доступ к хранилищу, пользуются OLAP-кубами, отчетами, сделанными по электронной почте или в веб-форме, пишут прямые запросы к витринам. Кроме того, хранилище обменивается данными с другими ИТ-системами компании в автоматическом режиме. Через такие механизмы осуществляется ценообразование, управление рекламой и формирование рекомендаций покупателям.

Реализованный в конце 2011 — начале 2012 года проект создания собственной системы внутренних рекомендаций для улучшения показателей конверсии и совершенствования взаимодействия пользователей с сайтом изначально был исследовательским. Для 2 млн товаров на сайте необходимо было построить матрицу попарных корреляций векторов просмотров этих товаров. Особенность этой задачи такова, что на входе данных не очень много, на выходе — еще меньше, но в процессе обработки возникают большие промежуточные вычисления, моментально забивающие винчестеры объемом по 10 Тбайт.

Поскольку существующее хранилище данных с поставленной задачей не справлялось, было выбрано решение Cloudera — практически единственное тогда бесплатное пакетное решение на базе Hadoop. Сырая на тот момент технология стала самой большой сложностью проекта. «Многие вещи делались впервые, почитать про опыт было практически негде, — вспоминает Аникин. — Но мы намеревались не просто поиграть технологиями, у нас была конкретная практическая задача, которую мы не могли решить обычными средствами».

В результате внедрения Hadoop создан инструмент, генерирующий существенную долю продаж сайта Wikimart.

Аникин считает проект эффективным: при более чем скромных инвестициях получен заметный для бизнеса результат, и его можно реплицировать в других компаниях: «К примеру, мой коллега Роман Зыков, главный идейный вдохновитель проекта внедрения Hadoop, стал одним из основателей проекта RetailRocket.ru, который предлагает сервис рекомендаций для интернет-магазинов в формате облачного решения».

В аналитическом подразделении Wikimart сейчас ведется два крупных технологических проекта: построение внутренней системы планирования и бюджетирования на базе Microsoft OLAP Writeback, а также перенос в Hadoop части задач классического хранилища данных и усложнение логики преобразований, которую в рамках обычной базы данных нельзя было реализовать из-за ограничений по производительности. В первую очередь речь идет об анализе ассортимента, мониторинге загрузки товаров магазинов на площадку и других подобных задачах. Но все, что можно сделать с помощью обычной базы данных за разумное время, с ней и делается, подчеркнул Аникин.

Отдел синергии

С учетом опыта, полученного в Wikimart при внедрении Hadoop, основные барьеры на пути к эффективному использованию Больших Данных можно разделить на технологические и организационные.

К технологическим относятся принципиальная возможность обработки данных и скорость этой обработки, которые могут быть ограничены имеющимися серверными мощностями и финансовыми ресурсами на их расширение. Сюда также можно отнести недостаточную точность и полноту данных, которые в сыром виде непригодны для использования в бизнес-аналитике.

В числе организационных барьеров Аникин назвал пресловутый разрыв между бизнесом и ИТ, а также одну из важнейших проблем: высшее руководство большинства компаний слабо понимает, зачем в принципе нужны эти технологии. Отсюда вытекает и низкая востребованность результатов работы с высокотехнологичными инструментами. А значит, необходимо обязательно добиваться синергетического эффекта ИТ и бизнеса, без этого невозможно эффективно использовать технологии Больших Данных, как, впрочем, и многие другие технологии.

Не менее сложным препятствием может оказаться недостаточная квалификация кадров для решения возникающих аналитических и ИТ-задач. Многие считают, что Hadoop — это дешево, но на самом деле это не так. Чтобы его развернуть, поддерживать и отлавливать ошибки, требуются очень высококвалифицированные специалисты, а такие на рынке сейчас в дефиците. Поэтому часть средств, которые в компании привыкли инвестировать в платформу, придется вкладывать в оплату труда.

«Деньги лучше тратить не на супертехнологии, а на «суперлюдей», способных дать фантастический результат даже на cвободном ПО, чего обычные люди не смогут даже с самыми космическими технологиями», — таков ключевой совет Аникина. Технологии сами по себе проблемы эффективной работы с данными не решают, и специалисты среднего уровня, скорее всего, ее тоже не решат, пока технологии не станут достаточно зрелыми.

По мнению Аникина, проблемы управленческого характера решить гораздо важнее, чем технологические. И если Большие Данные помогают справиться с вопросами возможности и скорости обработки данных, то к остальным барьерам в бизнесе пока еще только начинают подступать.

Компании должны научиться также задавать «правильные» вопросы к Большим Данным, поскольку точные и правильные данные необходимы огромному количеству людей, принимающих стратегические решения. А так как это совершенно новая компетенция, то один из подходов, который можно использовать для ее проникновения в компанию, — создание центра глубокой экспертизы Больших Данных.

Проблемы же с точностью и востребованностью данных решает наука о данных — Data Science, которая сейчас взбирается по кривой зрелости технологий, выстроенной аналитиками Gartner, на «пик ожиданий», в то время как Большие Данные уже начали с него сваливаться. Впрочем, учитывая отставание российского рынка от западного, Большим Данным еще только предстоит покорить вершину ожиданий. Но если срок созревания Больших Данных оценивается в 5–10 лет, то для Data Science этот период составляет от двух до пяти лет, а значит, барьеры недостаточной точности и востребованности данных могут быть преодолены гораздо быстрее. Функцию работы с данными следует выделить в специальный отдел, а в штате должна появиться должность директора по данным. Необходимость организационно обособить функции Data Science постепенно начинает осознаваться и в России, заметил Аникин. По его мнению, именно в отделе по работе с данными должна решаться проблема синергии бизнеса и ИТ. Кроме того, при наличии выделенной структуры будет заметно легче продвинуться в работе с данными на уровне топ-менеджмента.

«Хочется надеяться, что проблемы эффективной работы с данными решит Data Science, но время покажет», — заключил Аникин.

Интернет-компании, онлайн-ретейлеры и мобильные операторы уже давно строят на Больших Данных свой бизнес. Банки же в силу традиционной консервативности входят в «клуб Больших Данных» относительно поздно — только сейчас. Сбербанк, имея больше по сравнению с другими возможностей, ступил на эту стезю раньше многих: подразделение, занимающееся внедрением инновационных решений, у него появилось еще в 2011 году. По проработанности подхода его можно отнести к лидерам, а накопленный опыт позволяет избегать многих ловушек, принимая взвешенные решения в области развития используемых платформ.

Аналитики Gartner относят зрелость технологий Больших Данных к этапу скатывания по «желобу разочарований», когда несоответствие между ожиданиями от технологий и их возможностями порождает заметный скепсис. Когда же встретятся ожидания и возможности Больших Данных?

«Аналитики оценивают эти показатели в комплексе, с точки зрения всех секторов экономики. Однако в некоторых из них Большие Данные не только достигли ожиданий, но и превысили их», — полагает Анджей Аршавский, директор центра компетенции супермассивов данных «Сбертеха». Эти технологии появились в поисковых системах, когда Google и Yahoo, будучи еще стартапами, пытались «перемолоть» Интернет. Для них задача стояла достаточно просто: на дешевых серверах было необходимо обрабатывать гигантские массивы данных, и эта задача была решена. Затем технологии Big Data перешли в сегмент интернет-торговли, где тоже прекрасно себя зарекомендовали — например, магазины-гиганты стали использовать их в рекомендательных системах. Во многом именно Большие Данные позволили этому бизнесу процветать. Не так давно мы стали наблюдать проникновение Больших Данных и в деятельность мобильных операторов.

Банки входят в «клуб Больших Данных» только сейчас, относительно поздно. Это происходит не потому, что Большие Данные до сих пор им не были нужны, а в силу традиционной консервативности. Тем не менее такой процесс неизбежен.

Инновации — разрушающие и созидающие

Бретт Кинг, автор книги «Банк 3.0», привел последовательность инноваций, вызывающих разрушение традиционной банковской системы. Оно началось с приходом Интернета и социальных сетей, давших возможность выбирать банк не по месту жительства, а более осознанно. Приход смартфонов позволил взаимодействовать с банком из любого места; попутно возникли мобильные кошельки, дав возможность обходиться без карточек и наличных. Сейчас уже ставится под вопрос необходимость наличия банковского счета: например, Facebook анонсировал возможность переводов денежных средств между участниками сети.

Следующими в этой цепочке становятся Большие Данные: они позволяют персонализировать предложения, причем эта персонализация может выйти за пределы банка. Какие-либо сторонние площадки могут заключать договоры с клиентами от имени банков, оказывая им дополнительные услуги на основе имеющейся информации.

«Таким образом, от использования Больших Данных напрямую зависит прибыль банка. Поэтому вопрос необходимости их использования уже не стоит», — констатирует Аршавский.

Как эволюционирует работа с данными и в какой момент они становятся «большими»? Исторически ИТ обслуживали рутинные операции банков, и это давно стало нормой. Затем возникла потребность в бизнес-аналитике и информации, которая позволяла бы управлять деятельностью банка. Эти технологии тоже уже являются классическими.

Но вот бизнес захотел использовать информацию в том контексте, который актуален в данный момент времени. Так к внутренней информации о клиенте добавились данные из внешних источников. Следующим этапом стал подход к информации как к рычагу инноваций: возникло такое понятие, как data driven innovation. Для бизнеса стала важна способность получить доступ к любым данным в любой момент времени — даже если заранее непонятно, для чего именно, в процессе анализа могут родиться новые бизнес-идеи. Наконец, сейчас информация становится источником конкурентных преимуществ, помогая создавать молниеносные персонифицированные предложения и даже менять акцент бизнес-стратегии, обрабатывая данные в реальном времени.

Последние три стадии относятся к категории Больших Данных.

BI и Big Data — в чем разница?

Часто эксперты пытаются дать ответ, в чем заключается различие подходов Больших Данных и традиционной бизнес-аналитики. Понятно, что на первый взгляд они очень похожи и имеют много общих деталей. Однако разница ощутима, хотя многие не могут ее четко формализовать.

Во-первых, системы класса Big Data изначально ориентированы на работу с разнородными данными. Во-вторых, они закрывают потребность компании во внешних источниках данных, в то время как бизнес-аналитика базируется на существующих в компании внутренних источниках. Кроме того, систему Больших Данных можно построить на стандартном оборудовании, тогда как BI-системы требуют гораздо более дорогих аппаратных решений.

Последним по очереди, но не значению является наличие решений с открытым кодом. Да, на рынке появляется все больше производителей готовых коммерческих систем и программно-аппаратных комплексов, но начать можно с решений open source. Низкая цена входа и быстрый старт очень важны с учетом того, что риски проектов пока оцениваются как высокие и нет массового понимания необходимости этих технологий со стороны менеджмента среднего звена.

Анджей Аршавский, директор центра компетенции супермассивов данных «Сбертеха»

Мощь данных недооценивается

«Как один из крупнейших банков, мы видим, что данные являются важнейшим активом, и актив этот пока недооценивается и недоиспользуется. Мало кто умеет эффективно накапливать и обрабатывать данные в том виде, в котором они сейчас востребованы», — говорит Аршавский. Данные в банках часто бывают разрознены между системами и недоступны для совместного анализа. Это является большим препятствием для их обработки. К тому же мало кто в банковской среде умеет использовать открытые данные и данные Интернета. Тем не менее эта тема становится одной из самых актуальных.

Известна оценка Gartner, согласно которой 70% усилий в работе с данными приходится на их первоначальную обработку, очистку, загрузку и подготовку. Чтобы стать пригодными для эффективного анализа, данные нуждаются в реинжиниринге и переформатировании. Только 30% относится непосредственно к анализу и построению моделей. Это становится большой проблемой, частично порождающей разочарование в технологиях Больших Данных.

В условиях, когда не решена задача интеграции данных и размещения в едином поле, доступном для анализа, большая нагрузка возлагается на команды, работающие с первоисточниками — теми системами, из которых пытаются выгрузить данные для аналитики. В крупной компании зачастую несколько команд пытаются сделать с данными что-то полезное, дублируя усилия друг друга.

«Мы хотим создать единый инструментарий, который поможет решить вопросы как с доступностью данных, так и с их интеграцией», — подчеркивает Аршавский. Эта система должна позволить различным службам банка использовать ее в своих целях, а не идти путем построения отдельных систем, решая одни и те же проблемы снова и снова.

Аршавский выделяет четыре ключевых направления использования Больших Данных, имеющих наибольший потенциал. Во-первых, конечно же, должен быть сделан акцент на работе с клиентами, причем как с физическими, так и с юридическими лицами. Тремя остальными направлениями становятся борьба с мошенничеством, оптимизация работы HR, что крайне важно для любой крупной организации, и оптимизация рабочих процессов — например, обслуживания банкоматов.

Задачи работы с клиентами постепенно становятся классическими и решаются всеми банками. Им важно привлечь новых клиентов на основе анализа информации из Интернета о людях, не являющихся клиентами банка, удержать клиентов — предсказать их отток и выявить ключевые причины, влияющие на него. Повысить прибыльность бизнеса помогают вторичные продажи и персонализация предложений.

Под мошенничеством же понимаются и внешние, и внутренние угрозы — внутри банков тоже часто присутствуют проблемы. Мошенники прогрессируют, используют все более хитрые схемы, и обычными средствами их вычислить очень тяжело, поэтому важно использовать как внутреннюю, так и внешнюю информацию о поведении собственных сотрудников.

Big Data: как важно быть наглядным

Визуализация данных не только дает более четкую картину, но и порой помогает выявить скрытые связи.

В условиях, когда отношение к Большим Данным, по мнению аналитиков, сменилось с восторженного на настороженное, «пробивать» соответствующие проекты стало более затруднительно. Как полагает Андрей Скворцов, директор группы компаний «Меркатор», специализирующейся в области инфографики, помочь в этом может наглядная визуализация данных. На форуме Big Data 2015, организованном издательством «Открытые системы», он предложил три простых правила представления данных в наглядном виде. Визуализированные данные должны вызывать удивление, показывать контрасты; кроме того, необходимо представлять все данные — иначе они будут не столь убедительны.

Первым «визуализатором» стал французский математик и астроном Урбен Леверье, наиболее известный своим открытием Нептуна «на кончике пера». После того как шторм в ноябре 1854 года изрядно потрепал англо-французский флот под Севастополем, французский император Наполеон III обратился к ученому с вопросом относительно предсказуемости такого рода явлений. Леверье изучил и изобразил траекторию урагана, попутно предложив основать сеть метеорологических станций для заблаговременного отслеживания природных катаклизмов. Император, удивленный невиданными доселе картинками движения атмосферных фронтов, дал добро.

Качественная иллюстрация лучше тысячи слов расскажет о том, в каких странах энергетики «ставят» на ветер и воду, а в каких — на уголь и мирный атом Источник: «Меркатор»

С этих карт Леверье, считает Скворцов, и началась визуализация данных. Она позволяет сделать данные более наглядными — например, отобразить ход застройки центра Москвы по годам, представить транзакции Сбербанка в реальном времени или показать, в каких странах Европы предпочитают маленькие ветровые электростанции, в каких — большие атомные и тепловые. А порой она дает возможность вскрыть некоторые прчинно-следственные связи, особенно при работе с малоформализуемой информацией. Так, графически ото­бразив взаимоотношения в коллективе, можно найти в нем отчетливые группы друзей. Или понять, как в реальности повлиял на динамику продаж приход нового руководителя.

Самый поучительный пример формально касался степени совпадения динамики бюджета США с прогнозами относительно этой динамики. Прогнозы, как отметил Скворцов, были двух типов: «Все хорошо» и «Сейчас не очень, но скоро все будет хорошо». Реальность несколько отличалась, и, по словам директора «Меркатора», такая ситуация характерна для госучреждений отнюдь не только нашего заокеанского партнера.

- Дмитрий Гапотченко, заместитель главного редактора Computerworld

 

Для экспертов, и не только

Принимая решение о построении платформы Больших Данных, следует руководствоваться детализацией задач, которые банк хочет решить. Задачи могут быть самые разнообразные: от поставки данных, их очистки и интеграции до создания «рабочего стола аналитика», предоставляющего инструментарий и права доступа к данным с поддержкой всего цикла аналитической работы. Отдельным вопросом является доверие к информации. Оно особенно актуально, когда речь идет о внешних источниках, но и внутренние данные тоже могут быть противоречивыми. Этот спектр задач в идеале должна решать платформа Больших Данных.

Как полагает Аршавский, имеет смысл вести работы по двум направлениям. В первую очередь речь идет о том, чтобы загрузить как можно больше сырых данных, связать их воедино, сделать доступными на Hadoop и дать экспертам доступ к ним. Одновременно следует разработать аналитическую платформу, которая позволит работать с агрегированными показателями, выделяя наиболее яркие, значимые атрибуты на основании информации, доступной в разных источниках. Это могут быть показатели надежности и уровня потребления сервиса, вероятность покупки нового автомобиля или того, что заемщик не вернет кредит. Их можно использовать как для формирования комплексных предложений клиентам, так и для «обучения» построенных моделей.

«Мы сталкивались с совершенно непредсказуемыми ситуациями, когда одним из значимых факторов в модели становилось окончание фамилии человека или время, потраченное на заполнение анкеты», — говорит Аршавский. Заранее неизвестно, на каких показателях будет основываться модель, сигналом может быть все что угодно. Любой незначительный на первый взгляд признак в масштабах бизнеса может стоить в прямом смысле миллиарды.

Таким образом, в результате планируется создать две зоны работы с платформой Больших Данных: зону анализа ad hoc (лат. Ad hoc — «по месту») для прямой работы исследователей с данными и зону приложений, которые будут интегрироваться в бизнес-системы. В результате платформой смогут пользоваться не только аналитики, но и маркетологи, служба безопасности, специалисты продаж.