Статьи

Раньше телеком-операторы были теми немногими компаниями, где бизнес строился на данных. В последние годы, когда предприниматели массово осознали ценность Big Data, телеком делает на это направление стратегическую ставку, инвестиции операторов в работу с данными растут.

Проекту Big Data в МТС недавно исполнилось три года. Команда выросла с двух десятков сотрудников до 250 экспертов. Чистый экономический эффект от работы с большими данными в компании оценивают в 3,5 млрд руб. О пути своего подразделения и достигнутых результатах рассказывает Леонид Ткаченко, директор по Big Data МТС и претендент на премию CDO Award. Его выступление станет одним из гвоздей программы форума BIG DATA, который состоится 27 марта.

Термин Big Data появился уже довольно давно. Что изменилось в последние годы? И связаны ли произошедшие изменения с шумихой, начавшейся вокруг больших данных?

Математическая основа того, что сейчас делается, была известна с середины XX века. Но компьютеры того времени стоили миллионы долларов, и даже простую нейросеть пришлось бы обсчитывать месяцами. Лишь недавно вычислительная мощь компьютеров выросла настолько, что математику нейросетей и алгоритмы машинного обучения можно экономически эффективно использовать.

Леонид Ткаченко: «Работа с большими данными — это как поиск в незнакомой темной комнате. И наша задача — искать максимально быстро»

Big Data — свежий маркетинговый бренд, раскрученный производителями оборудования. Под этим брендом вендоры стали продавать возможность скоростной обработки и дешевого хранения огромных массивов данных. Некоторое время у них ушло на то, чтобы представить миру эти технологии, и теперь не использовать их уже невозможно — сразу станешь аутсайдером. Это группа технологий, которая действительно несет ценность бизнесу.

Сейчас продукты на основе больших данных внедрены во все функциональные направления МТС. Маркетинг и продажи, розничная сеть, техника, закупки, финансы и даже HR.

HR — не самая очевидная область для применения технологий больших данных...

Что касается HR, то, например, мы предсказываем отток сотрудников: руководители видят, какова вероятность увольнения конкретного сотрудника в ближайшие два месяца. Я пока не слышал про аналогичные проекты, хотя знаю, что подобные работы кое-где ведутся. У нас сначала получилась модель, которая надежно предсказывала увольнение за пару недель. Но столь короткого периода мало, чтобы принять решение о том, нужно ли бороться за сотрудника. Нам удалось найти более тонкие ранние предикторы. У нас была отличная обучающая выборка — огромная накопленная история уволившихся сотрудников.

Удержать сотрудника — важно для любого руководителя, особенно работающего с дефицитными и высокооплачиваемыми специалистами. Наши менеджеры активно пользуются этим инструментом: если вероятность увольнения ценного сотрудника начинает расти, возникает повод поговорить с ним, да и самому подумать о том, что идет не так.

Другие модели позволяют среди десятков тысяч сотрудников МТС выявить самых перспективных: талантливых, пусть пока и незаметных. В крупной организации не все работники на виду, можно упустить людей с выдающимися способностями. А что, если они не просто уволятся, а уйдут к конкурентам и там раскроют свой потенциал? Big Data позволяет избегать таких рисков. Эти модели в области HR не приносят, казалось бы, прямого, поддающегося подсчету экономического эффекта, но в нашем бизнесе, находящемся на острие технологического прогресса, основной актив — это лучшие профессионалы.

Три года назад в МТС появился департамент Big Data. Что это значило для компании?

В тот момент компания решила инвестировать в это направление и поискать дополнительную ценность в данных. Что очень важно, изначально это подразделение организовали иначе, чем все остальные в компании. Обозначили финансовую цель, бюджет — и позволили самим выбирать, как инвестировать средства, в каких направлениях работать. Мы получили полную операционную свободу, чего никогда не было раньше. Но вместе со свободой появилась и ответственность.

Такой формат работы очень хорошо себя показал. Сейчас, по прошествии трех лет, он считается хорошим примером мотивации и организации работ, и на него многие ориентируются. Наработанный опыт мы стараемся распространить на другие продуктовые направления — в частности, на работу с мобильными приложениями.

А что назначение главой департамента Big Data значило для вас как для человека, прежде занимавшегося стратегическим маркетингом? Какие изменения произошли в ваших подходах к работе?

Изменения очень серьезные. Это уже не первый раз, когда мне пришлось заниматься чем-то принципиально для себя новым, в чем раньше немногое понимал. Большие данные находятся на стыке ИТ, математической статистики и бизнеса. За эти три года я, безусловно, подтянул свои знания в ИТ.

Сейчас мне приходится управлять значительно большей командой. Раньше мой коллектив состоял из 30 человек, а теперь в нем 250. В небольшой команде ты каждого хорошо знаешь, можешь лично с каждым пообщаться и хорошо видишь их работу. Когда подчиненных несколько сотен, характер управления сильно меняется: ты не управляешь непосредственно людьми (тем более на микроуровне), а создаешь условия для их работы.

Как вы понимаете роль CDO в современной, «умной» компании? Одни подразумевают скорее техническую, а другие — более бизнес-ориентированную роль…

Я однозначно «заточен» на бизнес. Внутри нашего подразделения есть четыре отдела: два продуктовых и два инфраструктурных. Один из инфраструктурных отвечает за ИТ-платформу, а другой — за инфраструктурные продукты. Руководитель последнего и есть в моем понимании «чистый» директор по данным. Наращивание объема знаний о наших абонентах — это то, с чем он засыпает и просыпается.

Какая стратегия работы с большими данными принята у вас?

Стратегия уже три года неизменна, в ней три ключевых элемента. Первый — постоянное увеличение знаний об абонентах. Любые данные, способствующие этому, сразу же оказываются в нашем data lake. Неважно, знаем мы, как потом будем их использовать, или нет, есть ли у нас какие-то бизнес-идеи или их еще предстоит придумать.

Вторая задача — обеспечение доступа к этим данным для сотрудников компании, разумеется в соответствии с их обязанностями. На рабочий стол каждого специалиста надо положить максимальное количество нужных ему данных. В очень многих наших подразделениях бизнес-анализ является частью работы. Сотрудники действительно принимают решения на основе данных.

Третья составляющая стратегии — построить на базе собранных данных новый бизнес. Продукты, создаваемые сейчас, новым бизнесом не являются — мы просто помогаем работать нашим подразделениям. Новым бизнесом мог бы быть, например, сервис по подбору пар — идеальных семей на основе глубокого знания о людях.

Конечно же, эта третья часть скорее перспективная. Мы не ставим никаких сроков, а просто копаемся в данных, строим модели и проверяем гипотезы.

Несколько лет назад прогремело слово «уберизация», заставившее многих пересмотреть свои взгляды на конкурентов и направления развития бизнеса. Сделали ли какой-то вывод из этого в МТС? Как изменились потребности в данных?

Надо сказать, что телеком эта тенденция затронула несильно. Другое дело, что телеком-компании действительно исчерпывают возможности развития внутри своих отраслей и начинают шире смотреть вокруг. Когда стае львов перестает хватать еды на своей территории, они начинают поглядывать на чужую, и будет серьезная схватка.

Ничто не вечно — это так. Положение в отрасли, кажущееся незыблемым, может в одночасье развалиться с появлением какой-то новой технологии. У нас есть только один естественный барьер — лицензии на передачу сигнала. Однако ситуация не безоблачная: некоторые направления перестали расти, некоторые — стагнируют. Классический телеком расти уже не будет, и именно поэтому мы инвестируем в большие данные, пытаемся искать свои ниши в финтехе, цифровой рекламе и создании контента.

Какими инфраструктурными решениями поддерживается работа с данными?

У нас используются три технологии. Первая — Hadoop, дешевая с точки зрения хранения и обработки единицы данных, но сложная. Чтобы с ней работать, нужно знать специфические языки программирования. Таких специалистов мало, и стоят они дорого. Вторая технология — massive parallel processing, MPP. У нас ее поставщиком является Teradata. Хранение и обработка с ее помощью обходятся в разы дороже, но при этом используется распространенный язык SQL. И наконец, есть еще более дорогие системы реального времени, используемые для решения специфических задач. От этих систем требуется мгновенная обработка данных.

Все имеющиеся данные мы разбиваем на три класса в зависимости от того, что с ними собираемся делать. Конечно же, основная часть данных хранится в Hadoop — «холодном» хранилище. Его дешевизна позволяет складировать туда все подряд, не разбираясь, понадобятся ли эти данные в будущем. «Теплые» данные, с которыми ведется активная работа, обрабатываются в Teradata, и минимум «горячих» данных, используемых для маркетинга в реальном времени, находятся в самых дорогих системах. К тому же реализовано гетерогенное хранилище: часть «теплых» данных мы загрузили в Hadoop таким образом, что доступ к ним остался через Teradata. Тем самым сочетаются удобство доступа и дешевизна хранения, и все больше данных в целях экономии мы будем организовывать именно так.

Чем сейчас мобильный оператор может выделиться из конкурентов в условиях примерного равенства цен и качества связи?

Все телеком-компании мира бьются над этой проблемой. Мы намерены сделать следующее: создать вокруг нашей абонентской базы экосистему, в которой классический телеком будет только одной из составляющих. Главное, что там должно появиться, — финтех-сервисы для наших абонентов, решающие их ежедневные потребности в финансовом обслуживании. Помимо финтеха, в нашу экосистему мы будем добавлять как можно больше развлекательных активностей человека.

Где большие данные в реальном времени — там машинное обучение и искусственный интеллект. Банки уже заявляют, что существенная часть их продаж происходит с участием ИИ. А что видите вы?

Мы не ставим цель использовать искусственный интеллект для решения любой задачи. Где-то эти модели работают, где-то — нет. Как правило, они хорошо работают там, где есть большая обучающая выборка — много фактуры, чтобы построить нейросеть и обучить ее. Иногда задачи лучше решаются более простыми методами. Но перспективы действительно внушительные, ведь искусственный интеллект прогрессирует гораздо быстрее человеческого.

Расскажите о нескольких ключевых недавних проектах.

Один из проектов реализован на основе системы Workforce Management для нашей розничной сети, состоящей из 5 тыс. салонов, и касается управления рабочим временем продавцов. Раньше директор каждого салона, исходя из своих соображений, сам решал, когда и кому работать. Он не был мотивирован экономить: в салонах всегда был избыток персонала, и мы были вынуждены переплачивать. При этом все равно периодически возникали очереди, поскольку внезапный наплыв покупателей предсказать никто был не в состоянии. И вот мы построили модель, которая на основе анализа транзакций магазинов за прошлый год прогнозирует на месяц вперед, сколько будет клиентов в данном магазине в каждый час в течение дня. Модель работает с достаточной точностью, чтобы было возможно построить обоснованное расписание работы сотрудников и получить значимый экономический эффект. Повысилась загрузка сотрудников, и сократились очереди.

Кроме того, мы можем спрогнозировать, когда клиенты хотят сменить свой телефонный аппарат, пытаемся понять, на какой именно, и обращаемся к ним с персональными предложениями. У нас огромная розничная сеть, и очень важно имеющимися знаниями помогать ей работать эффективнее. Наши абоненты должны покупать телефоны именно у нас, мы стараемся оказаться первыми, кто сделает им заманчивое предложение. Пока у нас огромный потенциал для роста.

Часто приходится слышать про этику больших данных. Где та граница, за которую нельзя заступать?

Понятно, что мы обязаны действовать в рамках законов. Этика — совершенно другой разрез. Важно понимать, что наша жизнь неизбежно становится все более прозрачной. Уже сейчас любой человек оставляет мощный цифровой след. До глубокой обработки большинства этих данных еще не дошли руки, но это произойдет буквально завтра. Поэтому нас в будущем ожидает одно из двух: либо мы перестанем стесняться чего-либо и смиримся с прозрачностью (и тогда жизнь людей сильно изменится), либо люди, зная, что всё становится известным, начнут жить жизнью праведников. Мне кажется, что более вероятен первый вариант.

Куда движутся большие данные в МТС? Какую роль они будут играть, как могут изменить бизнес компании?

Я думаю, что рано или поздно в ходе работы с данными мы найдем Клондайк: наткнемся на ту самую золотую жилу, позволяющую создать новый бизнес — что-то совершенно новое. Мы стараемся действовать как конвейер по проверке гипотез. Надо пропахать имеющиеся данные вдоль и поперек. В этом смысле работа с большими данными — как поиск в незнакомой темной комнате. И наша задача — искать максимально быстро. С помощью множества экспериментов надо «перещупать» как можно больше возможностей, стараясь ни обо что сильно не удариться. Если в этой комнате что-то есть, оно обязательно найдется.

Год назад в группе компаний ЛАНИТ создано направление Digital Transformation Group. Его руководитель Денис Реймер выступит на конференции «Технологии блокчейна 2019», которую издательство «Открытые системы» проводит 12 февраля. Он является также вице-президентом группы компаний по цифровой трансформации, активно участвует во внедрении блокчейна в корпоративные информационные системы и считает, что недалеко то время, когда в ERP, CRM и других подобных решениях появится стандартная опция «сохранять в блокчейне».

- ИТ — традиционный инструмент повышения эффективности предприятий. Цифровая трансформация – это очередной эволюционный этап их внедрения или привнесение нового качества в бизнес?

Внедрение ИТ всегда сопровождалось маркетинговыми «зонтиками» — от реинжиниринга бизнес-процессов в середине 90-х до цифровой трансформации сегодня. Однако раньше технологии применялись в основном в качестве инструментов поддержки деятельности компаний, — печати, бизнес-процессов и так далее, а теперь их роль кардинально меняется. Информационные технологии становятся неотъемлемыми атрибутами деятельности предприятий, внутренними компонентами бизнеса, которые в значительной степени формируют и определяют конкурентные преимущества.

Трансформация, которая поддерживается определенными цифровыми технологиями, характеризуется изменением бизнес-модели, создает новые способы получения доходов и возможности донесения ценности до потребителей.

Цифровая трансформация позволяет организации отслеживать в реальном времени ситуацию со своими продуктами, понимать специфику их применения клиентами, формировать обратную связь для корректировки производственных процессов и цепочек поставок. Для эффективного использования преимуществ цифровой трансформации компании должны обладать высоким уровнем внутренних ИТ-компетенций.

- Что меняется в условиях цифровой трансформации в интеграторских ИТ-компаниях?

Формируются консалтинговые подразделения, специалисты которых вместе с заказчиками прорабатывают вопросы цифровых преобразований. В течение последних пяти-семи лет во всем мире отмечается общая тенденция: бизнес-консультанты обзаводятся технологическими подразделениями, а ИТ-компании наращивают бизнес-экспертизу и формируют консультационные направления.

Цифровизация меняет проектный бизнес. Сегодня практически никто не отдает внешним организациям полную разработку платформ, предназначенных для цифровой трансформации. Для решения подобных задач наши потенциальные клиенты набирают людей, с рынка берутся нужные руки, снижается доля аутсорсинга. Это особенно заметно в банках. Заказчики сегодня заинтересованы не в технологиях, а в продуктах, способных дать определенные преимущества при их совместном внедрении с компаниями, предлагающими ИТ-услуги.

Многие системные интеграторы занимаются теперь своими разработками. Подобные компании формируются и в ЛАНИТе, это фактически стартапы, которые выводят на рынок собственные продукты. Мы постоянно анализируем появляющиеся технологии, включая большие данные, искусственный интеллект, блокчейн, Интернет вещей, развиваем основанные на них практики. Далее все зависит от готовности заказчиков и наших возможностей предоставлять основанные на них услуги. Примеры таких решений – преднастроенные обучаемые математические модели, оптимизирующие работу металлургических предприятий, программные роботы для сокращения рутинных операций в бизнес-процессах. А разработки на базе технологий блокчейна активно ведутся в рамках Digital Transformation Group.

- DTG создана около года назад. Какие изменения в области цифровой трансформации с использованием технологий блокчейна произошли за это время?

Заметно снизился уровень хайпа в связи с падением курсов криптовалют, так как многие до сих пор связывают блокчейн исключительно с ними. А в прошлом году нам приходилось постоянно отбиваться от заказчиков, объясняя, почему в их конкретных проектах блокчейн совершенно не нужен.

В DTG мы работаем над внедрением технологий блокчейна в B2B-решения, в которых блокчейн лежит в основе формирования периметра доверия при создании единой среды для взаимодействия ограниченного числа участников совместной деятельности. В таких распределенных процессах блокчейн позволяет сократить число лишних шагов и ускорить исполнение сквозных бизнес-процессов. В рамках такого подхода смотрим, где это можно применить.

- Можно ли выделить специфику проектов, основанных на этой концепции?

Основная цель многих подобных проектов – объединить всех участников в единый процесс, обеспечить доверие к используемым данным, их прозрачность. Блокчейн выступает в качестве «хребта», отвечающего за взаимодействие нескольких компаний. Для каждой из них мы разрабатываем часть бизнес-процесса на базе BPM-решений. Возникают чисто интеграционные задачи, но для их решения нужно связать технологии, которые никогда раньше вместе не работали.

При выполнении проектов с блокчейном на эту технологию приходится около 10% работы. В основном применяются традиционные для корпоративных систем подходы, решаются вопросы наиболее эффективного встраивания элементов идентификации в производственные линии, взаимодействия физического мира и онлайновых компонентов. Технически блокчейн встраивается без особых проблем, а все, что вокруг него – это вопросы, которые и приходится решать.

- Какова роль блокчейна в цифровых экосистемах?

Экосистемы нужно рассматривать не только с точки зрения блокчейна, в них несколько ключевых технологий. Самая распространенная — API Management, обеспечивающая предоставления интерфейсов к внутренним корпоративным ИТ-системам для их использования партнерами по экосистеме. Здесь действительно возникают новые бизнес-модели, так как в этом слое ПО появляется возможность учитывать число обращений к тому или иному сервису, выставлять квоты обращений, регулировать нагрузку и финансовые условия их использования. Второй важнейший компонент – данные, которыми обмениваются все участники. И, наконец, — организация процессов взаимодействия участников экосистемы, для которого используется блокчейн. Здесь в первую очередь важно сформировать бизнес-модель, найти заинтересованных участников, оценить преимущества для их бизнеса, быстро реализовать решение на имеющихся технологиях; только после этого можно решить, как его масштабировать в дальнейшем.

- Существуют минимальная цена входа в блокчейн и специальные требования к ИТ-инфраструктуре?

В блокчейне для корпоративных решений нет ничего сверхъестественного по сравнению с любым интеграционным проектом. Есть определенные алгоритмы, требования к написанию кодов, навыкам программирования. Хороший разработчик может месяца за три разобраться, как блокчейн работает, и начать что-то делать. Блокчейну мы обучаем быстро, проблема в другом — найти хорошего специалиста, да еще желательно с опытом работы в B2B, который способен, к тому же, эффективно работать в команде. Требования к производительности инфраструктуры могут возникнуть, если использовать алгоритмы консенсуса, применяемые для криптовалют. В корпоративных системах с блокчейном мы применяем технологическую платформу Hyperledger Fabric, для которой ничего специального не нужно.

- В DTG ведутся собственные разработки?

Основной продукт, который мы разрабатываем, — платформа автоматизации бизнес-процессов внутри экосистемы, которая содержит решения процессного управления, блокчейн в качестве объединяющей структуры, распределенное хранилище данных и слой управления API. Это инфраструктурное решение позволяет вместе с нашими клиентами сформулировать новую бизнес-модель, быстро провести проверки гипотез и предложить поддерживающую ее систему. В экосистемах требуется, как правило, оператор, в функции которого входят развитие инфраструктуры, ввод в экосистему новых участников и ряд других задач. Блокчейн предоставляет возможность создавать таких технологических операторов, отвечающих за инфраструктурные вопросы, в то время, как за специфику бизнес-процессов внутри экосистемы отвечают сами ее участники. Мы активно используем концепции и идеологию этой платформы для автоматизации цепочек поставок и пополняем ее по результатам каждого нового проекта (см. также «Digital Transformation Group и 'Микрон': связанные блокчейном», Computerworld Россия, 26 ноября 2018).

Интеллектуальные сервисы возникают во все большем числе организаций, зачастую открывая для тех новые направления бизнеса. Например, «Почта России» в процессе доставки заказов из интернет-магазинов и прочих отправлений, а также других взаимодействий с клиентами становится обладателем уникальной информации о потребностях и интересах людей. При этом ключевым объектом является домовладение (его почтовый ящик). Этот подход уникален, поскольку собираемая информация не исчерпывается только сведениями о персоне, а позволяет намного расширить понятие о поведении и мотивации потенциальных потребителей, их окружении и возможных потребностях. «Мы знаем, кому будут интересны детские товары, а кому — автозапчасти, кто любит кулинарию как хобби, а кто — как гурман», — утверждает Кристина Барыш, руководитель отдела управления клиентской аналитикой департамента директ-маркетинга ФГУП «Почта России» и претендент на премию CDO Award. На знаниях о домовладениях базируется недавно созданная линейка продуктов «Директ-Мейл», подразумевающая целевое распространение рекламных сообщений по почтовым ящикам. Мы поговорили c Кристиной Барыш об истории этого проекта, его результатах и перспективах.

— «Почта России» — огромная структура, и ее бизнесу совершенно точно ничто не угрожает. Какие перед ней стоят вызовы, какие есть проблемы и куда она движется? Зачем ей нужна работа с данными?

Есть очень распространенное заблуждение относительно того, что мы занимаемся исключительно почтовыми услугами — письмами, посылками и т. п. Но наш спектр услуг гораздо шире: мы предоставляем финансовые, страховые и некоторые государственные услуги, продаем авиа- и железнодорожные билеты. У нас развита розничная сеть по продаже товаров народного потребления в регионах — в отдаленных регионах «Почта» иногда является чуть ли не единственным связующим звеном с цивилизацией. Задач по развитию бизнеса очень много. Если говорить о логистике, то основная проблема здесь — завоевать устойчивое положение на рынке, дающее возможность не только конкурировать с другими, но и считаться сильным игроком. Мы много лет идем к этому, и небезуспешно — проводимые опросы и наблюдаемая в реальности картина говорят об этом. Мы всеми силами уходим от штампа, что «Почта» — это всегда медленно, люди возвращаются к нашим услугам. Наша задача — сделать свои процессы лучше, чем у конкурентов.

Кристина Барыш: «Мы знаем, кому будут интересны детские товары, а кому — автозапчасти, кто любит кулинарию как хобби, а кто — как гурман»

— Где тут данные?

Они вокруг нас. В процессе предоставления услуг, в наших системах проходят транзакции — начиная от поэтапных отметок, как посылка перевозится из китайского интернет-магазина в Москву, до сведений о том, как крупный банк доносит свою услугу до небольшого поселка. Объем собираемых данных очень велик. И это не просто продажи, как, например, у большинства ретейлеров, а взаимодействие с людьми на разных стадиях: предзаказ, заказ, доставка, вручение, оплата. Каждое действие состоит из множества операций, имеющих свою ценность: данные клиента, данные об оплате, длительность ожидания и т. п. Покупка одного журнала раскладывается на разные информационные потоки, которые можно анализировать и использовать в совершенно различных задачах.

— Когда возникла идея обратить имеющиеся данные во благо бизнеса?

В 2014 году руководство «Почты России» поставило задачу наконец развернуться «лицом к народу» и реализовать клиентоориентированный подход, повысив качество обслуживания. Для этого требовалось проанализировать, кто наши клиенты, какими услугами пользуются, как часто к нам обращаются. Данных было много, но они были разрозненны, находились в разных системах: до 2010 года филиалы «Почты» были самостоятельными, в том числе в плане использования ИТ-платформ. Только после появления ФГУП информация стала доступной для общего использования, и то лишь в агрегированном состоянии, — изучать транзакции было невозможно, да и потребности такой не возникало. Фактически речь шла о создании CRM всероссийского масштаба.

— Задача вообще реализуемая? Вероятно, возникли большие проблемы…

Мы стали выбирать те системы, в которых можно «увидеть» клиента, и использовать их в качестве источников данных. Столкнулись с огромными проблемами: в одном источнике клиент представлен только лицевым счетом, в другом — только паспортными данными, в третьем — фамилией с инициалами. Даже когда мы целенаправленно занялись сбором информации о клиентах, наполнение клиентской базы конкретными знаниями было минимальным. Фактически мы не могли идентифицировать одного и того же клиента, если он пользовался разными услугами.

Оказалось, что главным связующим звеном должно стать домовладение — конкретный адрес. Во-первых, это основной объект, с которым работает «Почта» в процессе доставки. Во-вторых, приходящий к нам человек контактирует с нами именно через свой почтовый адрес. Вот на основе адреса и стали сопоставлять имеющуюся разрозненную информацию. При начальном наполнении системы мы рассматривали 1,2 тыс. источников данных, сейчас активно используем 27 из них. Собрав эту информацию воедино, мы смогли не просто увидеть клиентов и понять, какими услугами они пользуются, но и уяснить их потребности. Получилось 64 млн клиентов — чуть меньше половины населения России.

Однако работа, ввиду своей масштабности, выходила весьма дорогостоящей. Рано или поздно должен был встать вопрос о монетизации собранных данных.

Пришли к выводу, что для монетизации самих клиентских данных у нас очень мало согласий на коммуникацию (около 1,5 млн из имевшихся в базе 64 млн человек). Кроме того, зачастую мы практически ничего не знаем о персонах, проживающих по конкретному адресу, но очень многое знаем о потребностях этой семьи. Переосмыслив ситуацию, мы решили, что правильнее будет присваивать признаки и свойства, которые мы видим у конкретных клиентов, домовладениям. Более того, многие из этих признаков присущи именно домовладениям, а не конкретным персонам. Скажем, если по какому-либо адресу осуществляется доставка из интернет-магазина автозапчастей, значит, в семье есть машина, и неважно, кому конкретно она принадлежит и как зовут владельца. А важно то, например, что это показатель определенной покупательной способности. Пользователями машины часто являются сразу несколько человек в семье, и, следовательно, все они — заинтересованные лица. Когда мы кладем в почтовый ящик такой семьи рекламные предложения по автоаксессуарам, мы имеем гораздо больший охват, чем когда делаем предложение одному человеку.

Это стало уникальной находкой: до идеи присвоения признаков именно домовладениям, выявления их покупательной способности и создания продукта на основе этих данных никто в России точно не додумался. Кроме того, пока у нас никто не ограничивает коммуникации через почтовый ящик. Таким образом, CRM в процессе своего создания трансформировалась в нечто совершенно иное и гораздо более эффективное — инструмент работы с домовладениями.

После нескольких тестовых проектов было принято решение о создании B2B-продукта, который получил название «Директ-Мейл». Для нас это оптимальное решение по использованию имеющихся данных, а продукт на его основе показывает вполне осязаемые результаты.

Наша цель — занять существенную долю на рынке печатной рекламы в почтовом ящике. Безымянные листовки люди выбрасывают, а письма с нашим логотипом вскрывают, так как к ним повышенные доверие и интерес. Это могут быть не просто рекламные сообщения, а образцы товаров. На данный момент основные наши клиенты — именно компании, распространяющие образцы своей продукции. Очевидно, что их намного лучше рассылать не вслепую, а по конкретной целевой аудитории, и эффективность таких коммуникаций весьма высока.

— Какие данные используются для анализа потребностей домовладений?

Здесь хочется обратиться к пониманию термина Big Data. Часто компании собирают всё, до чего могут дотянуться. Наш подход принципиально иной, избирательный: мы берем лишь то, что нам реально нужно, в чем мы видим ценность для проекта.

Наши большие данные состоят из трех частей. Первая — собственные транзакции, их 65% от общего объема. Вторая часть — внешние данные (8%), которые мы вынуждены приобретать или брать из открытых источников для обогащения своих данных. Например, информация о марках и моделях машин позволяет нам интерпретировать данные автовладельцев и лучше понимать их поведение. Данные Росстата о размере населения городов помогают компаниям-клиентам определить, где они хотят распространяться — в миллионниках или небольших центрах. Оставшаяся часть данных — синтетическая, это результат переработки нашими алгоритмами первых двух категорий.

В нашей системе используется 1,2 трлн записей — это лишь небольшая часть общих больших данных «Почты России», примерно 15%.

— Почему столь мал процент внешних данных?

Потому что добыть их довольно сложно. Зачастую требуется их приобретение, а если речь идет о персональных данных, требуется согласие клиента на передачу третьим лицам. Когда мы делаем совместные проекты, то иногда договариваемся о возможности обогащения данных. Еще один перспективный вариант (но он пока не использовался) — соцсети. С ними возможны бартерные отношения: мы можем, скажем, обменяться с ними данными (разумеется, не нарушая законов), чтобы они предоставили нам профили клиентов. Но, конечно же, тогда нам потребуется ряд согласований с вышестоящими инстанциями.

— Приведите несколько примеров проводимой аналитической работы.

По каждому домовладению выявляются группы и подгруппы признаков, с которыми в дальнейшем ведется работа. При оценке признаков часто используется аналитический подход. Дело в том, что любой признак формируется на основе данных из нескольких источников, достоверность которых различна. Например, источником данных об автомобилистах являются присылаемые штрафы (персоналии, разумеется, не рассматриваются) — и это источник абсолютно достоверный. Другой источник — доставка посылок из магазина, торгующего автозапчастями. Это тоже источник с высоким уровнем доверия — примерно 80%. Еще один источник — подписка на издания для автолюбителей. Совпадение признаков, полученных из разных источников, дает основание говорить о том, что признаки присвоены правильно. Важно, что происходит регулярный — раз в две недели — пересмотр всех признаков. Немаловажно еще и то, что все «нераспознанные» транзакции прокручиваются снова и снова с учетом вновь появившихся данных: в конечном итоге они могут дать результат.

Всего в России чуть более 70 млн домохозяйств, по 25 млн из них мы знаем пол и возрастной состав. У нас достаточно широкая подгруппа «Дети», мы их разделяем на подгруппы по полу и возрастным группам, в соответствии с особенностями развития ребенка. Еще одна важная группа — дистанционные покупатели, они разбиты на подгруппы по приобретаемым товарам и услугам. Мы знаем даже средний чек и выводим данные о доходах, сопоставляя информацию о частоте покупок и среднем чеке. Востребованной и нетипичной в плане привычных характеристик является группа признаков «Интерес», которая включает от одного до нескольких увлечений, присущих людям в домовладении: кулинария, садоводство, здоровый образ жизни, рукоделие и «сделай сам», коллекционирование, интерес к искусству, политике и др.

Важно понимать, что когда мы выявляем у домовладения тот или иной признак, то говорим о наличии определенной потребности. Например, если в квартире живет бабушка, которая регулярно покупает игрушки или выписывает детский журнал, то для нас неважно, живет на самом деле там ребенок или нет, нам важна именно покупательная способность, потому что именно ее мы продаем своим заказчикам. Важно наличие потребности, а не физическое нахождение потребителя в этом месте. «Покупатель» и «потребитель» — разные сущности, и мы ищем именно покупателей, на это и направлено наше решение.

Рассматривая же конкретных лиц, а не домовладения, мы можем не увидеть реального покупателя. Например, ювелирные изделия, которые носят женщины, часто покупают мужчины.

— Какова архитектура созданного решения?

Мы используем СУБД Microsoft SQL, на ней действуют аналитический инструмент Pentaho BI Suite и рабочий инструмент аналитиков («калькулятор») — разработка отечественной компании Manzana Group. В составе решения нет никаких кластеров Hadoop, это исключительно рабочие базы с множеством SQL-таблиц. Реализация системы абсолютно несложная.

Разумеется, у «Почты России» есть и свой Hadoop — большая система, названная Data Cloud, куда сливается вся имеющаяся информация. Она является для нас одним из источников данных, но для непосредственной монетизации не используется. Сейчас разрабатываются шины, которые позволят всем оперативно получать оттуда данные, но пока каждому департаменту для получения данных приходится делать специальный запрос.

— Вы знаете о «соседях», наиболее заинтересованных в информации или работающих примерно в одинаковых с вами направлениях?

У нас были конкретные и понятные цели: сначала найти клиента, затем — домовладения. И мы под них «вытягивали» определенные данные. Сейчас другие департаменты часто приходят к нам за помощью и советом, однако мы их потребности можем удовлетворить далеко не всегда именно по причине ограниченности видов данных. Наведение порядка в «большом» хранилище должно серьезно подтолкнуть к его более эффективному использованию. К сожалению, из-за огромного масштаба работ все это происходит довольно медленно.

— Каких результатов уже удалось достичь, а что еще ожидается?

Самое главное — у нас появился работающий продукт, который позволяет зарабатывать деньги. Оборот по нему за прошлый год составил 1,2 млрд руб. Проект многократно окупается, даже если сложить все усилия, потраченные за четыре года.

Сейчас на базе построенного решения действуют три вида сервисов: обычное раскладывание рекламно-информационных материалов; «Директ-Мейл Стандарт» — прицельное раскладывание по нашим признакам; услуга «Геопочта» — охват определенного круга лиц в конкретном районе. Кроме того, к нам приходит много заказчиков с собственной клиентской базой и задачей по приведению в порядок имеющихся адресов. Наконец, наиболее продвинутые желают к своей базе адресов получить наши признаки, чтобы на их основе потом вести маркетинговую работу. Услуга «Директ-Мейл» вносит в финансовый результат наибольший вклад: во-первых, она недешевая, а во-вторых — довольно эффективная и поэтому популярная.

В целом то, что руководство «Почты» дало возможность реализовать этот проект, — большая гордость для нас. Он находится на уровне продуктов для крупных коммерческих организаций — банков, интернет-компаний и телеком-операторов. Возможность поискать ценность в данных, найти эту ценность и реализовать на базе своих находок продукт очень значима для нашей команды.

— В каких направлениях ожидается развитие проекта?

В первую очередь мы нацелены на развитие клиентского сегмента — крайне важно получить легализованные данные для прямых персональных контактов. Тогда услуга «Директ-Мейл Стандарт» дополнится возможностью омниканального взаимодействия — например, отправив образцы товаров, можно будет «добивать» клиента через электронную почту и SMS конкретными предложениями. Та самая маркетинговая многоволновая стратегия, о которой много лет пишется, но которая в реальности очень мало кем реализуется, станет возможной. В 2019 году мы выпустим продукт «Директ-Мейл Омниканальный» и будем предлагать его компаниям, заинтересованным в долгосрочном результате. Для этого нам нужно сократить разрыв между адресами, о которых мы что-то знаем, и людьми, давшими согласие на взаимодействие с ними. Сейчас из 70 млн домовладений мы знаем признаки для 41 млн. Это 57% — по нашим оценкам, очень хороший результат. Но главное — этого достаточно, чтобы делать полноценный продукт в масштабах всей России, хотя, разумеется, всегда есть к чему стремиться.

Второе направление развития — изучение регионов, которые зачастую представляются компаниям белыми пятнами на карте. Крупные федеральные компании вынуждены фокусироваться на городах-миллионниках и имеют крайне ограниченные возможности для взаимодействия с клиентами в регионах с низкой плотностью населения. У нас довольно много заказов с просьбами изучать населенные пункты численностью до 20–40 тыс. человек.

Интерес к технологиям распределенного реестра в корпоративном секторе растет. Однако, для того чтобы он воплотился в проекты, необходимо найти пути решения ряда технических и организационных задач, связанных с масштабированием систем, их взаимодействием, использованием отечественной криптографии. И, конечно, показать их превосходство над традиционными способами ведения дел, полагает Михаил Чеканов, управляющий партнер конструкторского бюро «Контракт», эксперт рабочей группы «Связь и информационные технологии» Экспертного совета при Правительстве РФ, докладчик конференции «Технологии блокчейна 2019».

— Ваше конструкторское бюро предлагает внедрение блокчейн-систем. Рынок уже пережил скандалы с криптовалютами и готов их внедрять?

И да и нет. С одной стороны, блокчейн сейчас находится, в терминах кривой Gartner, в процессе падения с пика ожиданий, потому что публичные блокчейн-платформы первого поколения оказались непригодны для бизнеса. Их недостатки всем известны — участники криптовалютных сделок анонимны, информация обо всех совершающихся в блокчейн-сети сделках доступна неопределенному кругу лиц, производительность систем низка и т. д.

С другой стороны, пилотные проекты по созданию частных, закрытых блокчейн-систем дают повод для умеренного оптимизма. В таких системах ее участники знают друг друга, доступ к информации можно упорядочить — каждый получает только ту ее часть, которая необходима для исполнения его работы: банк — о финансовой стороне сделки, транспортные операторы — о сроках поставки груза, требованиях по безопасности и условиях хранения, госорганы — о соблюдении процедур по таможенному оформлению и т.д.

— Часто говорят, что тех же эффектов, которые дает блокчейн, можно достичь более простыми и дешевыми способами...

Действительно, само по себе подтверждение неизменности отдельного документа или набора данных может быть получено более простыми инструментами, например с помощью усиленной электронной подписи.

Использование блокчейна приобретает смысл, если речь идет о необходимости распределенного контроля активов и обязательств, статус которых меняется с течением времени в зависимости от наступления тех или иных условий. Контроль при этом осуществляется экономическими агентами, которые конкурируют за обладание тем или иным активом – правами на ценные бумаги или обязательствами поставки материально-технических ресурсов. Это могут быть как прямые конкуренты, например банки, которые борются за управление активами клиентов, так и совершенно различные по сути своего бизнеса компании, участвующие в одной цепочке поставок.

Именно в этом случае автоматизация взаимодействия между контрагентами минимизирует транзакционные издержки, причиной большинства которых является недоверие между участниками процесса. Чем их больше, тем сложнее процесс взаимодействия и тем больше вероятность ошибок. В итоге это приводит к необходимости постоянного контроля, сверок и перепроверок.

— Если по секторам, то где блокчейн может быть наиболее полезен?

Прежде всего, конечно, на финансовом рынке, в операциях с ценными бумагами. В России пилотные проекты уже реализованы Московской биржей, Сбербанком и рядом других организаций.

В торговле и промышленности – в проектах в области торгового финансирования, управления цепочками поставок и прослеживания продукции. Здесь можно отметить факторинговый пилот «М.Видео», а также наши проекты для «Газпромнефти» в области управления сбытом и для Минсельхоза в рамках создания федеральной системы управления семеноводством.

В здравоохранении выгода от использования блокчейна заключается в возможности обеспечения безопасного обмена данными пациентов между медицинскими учреждениями и автоматизации страховых выплат. Такие проекты ведутся на Западе, у нас пока нет, возможно потому, что слабо развито добровольное медицинское страхование.

— Насколько отличается проект по внедрению блокчейна от обычного проекта по внедрению ERP-системы или системы документооборота?

Пожалуй, главное отличие в том, что пока нет готовых решений, нет «лучших практик», поэтому развитие корпоративных блокчейн-систем идет итеративно, этапами по 6-9-12 месяцев.

Надо учитывать, что автоматизация процессов внешних взаимодействий имеет смысл, если участники уже автоматизировали внутренние процессы. Зато эффект сопоставим с внедрением ERP-системы. Последняя дает понимание того, что происходит внутри компании, а блокчейн — точную картину происходящего на уровне взаимодействия с внешними контрагентами.

В силу новизны возможны проблемы с встраиванием блокчейна в корпоративный ландшафт. ИТ-провайдеры и вендоры сейчас не готовы обеспечивать для таких решений полноценную поддержку, что увеличивает стоимость владения ими.

Иногда могут понадобиться специфические решения; например, для высоконагруженных узлов нередко нужны специальные аппаратно-программных комплексы для криптографических преобразований.

Говоря о будущем, можно сказать, что существенной проблемой в ближайшие пару лет станет отсутствие возможности интеграции между различными блокчейн-сетями вследствие использования различных протоколов обмена данными и стандартов криптографии. Это будет камнем преткновения при реализации транснациональных проектов.

Так что выбор платформы — это ключевой вопрос уже сейчас.

— Вы выбрали HyperLedger Fabric, почему? И расскажите о ваших собственных проектах.

HyperLedger — это платформа, изначально предназначенная для создания частных блокчейнов корпоративного класса. И, на наш взгляд, сейчас ей альтернативы нет.

Среди проектов, позволивших нам получить первый опыт работы с блокчейном, а заказчикам — работающую систему была, например, разработка Федеральной информационной системы управления семеноводством, в которой осуществляется процесс управления рынком посевных материалов, всем жизненным циклом семян. Основная задача этой системы — гарантировать, что семена, которые вы посеете, будут именно такими, какие значатся в накладной на них или в надписи на упаковке. В этом проекте мы полностью реализовали поддержку отечественной криптографии. Это была нетривиальная работа. Несмотря на то что в HyperLedger Fabric заявлена поддержка любых видов криптографии, встраивание отечественной криптозащиты потребовало внесения изменений во все компоненты платформы.

Также мы участвуем в создании российского сегмента системы управления контейнерными перевозками TradeLens. В консорциуме под управлением компании Maersk, работающем над системой, участвует более сотни компаний. Система интересна не только своим масштабом и участием глобальных операторов рынка перевозок, но и тем, что при ее реализации приходится решать проблемы трансграничного взаимодействия систем, находящихся в различных юрисдикциях. В России пилотный проект будет осуществлен в этом году, заграничные «пилоты» показывают его высокую эффективность — сроки оборачиваемости контейнеров были сокращены на 40%.

Внутри страны мы работаем по проекту создания системы расчетов на рынке нефтепродуктов. В нем участвуют «Газпромнефть», ряд ведущих авиакомпаний и банков первого эшелона.

Управление цепочками поставок – это огромный рынок с большим количеством посредников. Блокчейн поможет обойтись без тех из них, кто не приносит реальной пользы, а непосредственным участникам цепочки – сократить количество транзакций и ускорить их выполнение. Например, Wallmart уже анонсировал перевод своих поставщиков с сентября на платформу FoodTrust, благодаря которой сроки обработки документов по каждой партии продуктов сократились с нескольких дней до пары секунд.

— О чем вы хотите расказать на конференции?

Я бы хотел поднять проблемы, имеющиеся на рынке. Нам не хватает взаимодействия друг с другом, без этого много усилий тратится впустую. Также актуальны вопросы поддержки отечественной криптографии, мы с ней поработали, видим, какие есть здесь трудности и как можно их устранить. Прежде всего речь идет о трансграничной передаче данных.

— А сами о чем хотели бы услышать?

Мне интересно услышать о результатах проектов коллег, причем таких результатах, которые можно оценить количественными критериями — например, насколько сократилось время процессов согласования документов.

Блокчейн, как правило, ассоциируется у нас с криптовалютами или с неизменностью записей в реестре документов. Однако он оказался востребован и в реальном секторе, где отвечает за истинность первичных данных, на основании которых принимаются дорогостоящие решения. О том, как блокчейн позволяет избегать многомиллионных ошибок при управлении работой скважин, рассказывает Сергей Косенков, руководитель ИТ-проектов Научно-производственного объединения «Союзнефтегазсервис», докладчик конференции «Технологии блокчейна 2019», которую издательство «Открытые системы» проводит 12 февраля.

- Что такое индустриальный блокчейн, отличается ли он чем-то от «обычного»?

Индустриальный блокчейн, как и любой другой, — это набор математических и логических функций и операций. Просто он применяется в реальном секторе экономики в различных целях, в том числе, для обеспечения достоверности данных.

Подтверждение достоверности информации, в нашем случае — получаемой с датчиков на скважинах, всегда было одной из важных задач. Она решалась различными методами. Административными — назначениями прав и паролей, техническими — шифрованием данных, передачей данных по защищенным каналам.

Но затем стало ясно, что достоверность данных можно сохранять при помощи их самих — считать контрольные суммы, шифровать их и распределять по одноранговой сети. Это обеспечит такой уровень защиты, при котором не нужно будет никаких организационных или других технических средств, средств защиты каналов связи. Только в случае необходимости, конечно, если заказчик на этом будет настаивать.

Когда мы посмотрели, что есть наработанного в этой области, то увидели, что такую технологию назвали блокчейн. На тот момент появились работоспособные блокчейн-платформы, которые можно было адаптировать под наши производственные процессы.

По этому принципу мы раньше работали и сейчас работаем, просто длинная формулировка «технология подсчета контрольных сумм последовательной шифрации на основе предыдущего шифра и распределение в одноранговой сети» теперь заменяется одним словом — «блокчейн».

- На производстве всякое случается. Допустим, датчик установили неправильно, выяснилось, что он месяц давал систематическую ошибку в два градуса. В обычной базе данных «руками» скорректировали данные, а как этот вопрос решить в случае применения блокчейна?

Этот вопрос нам первым задают на встречах с нефтяниками. Да, блокчейн не дает возможности поменять в исходных данных что-либо задним числом и скрыть просчеты. И если к нам попали неверные данные — они останутся в системе навсегда. Но, с другой стороны, нельзя сделать вид, что все было сделано правильно, руководство получит достоверную информацию о происходящем на скважине — когда и где что-то не работало, когда и как исправили, какие внесли коррективы.

Тут, конечно, возникает вопрос: что предпочитают руководители при принятии решений – находиться в счастливом неведении либо видеть объективную картину, происходящую на скважине?

А эти решения очень дорогостоящие, потому что, например, один день работы на скважине на суше — это несколько сотен тысяч рублей, на шельфе — уже несколько миллионов. Соответственно стоимость достоверности данных, на основе которых принимаются эти решения, тоже весьма велика.

Если что-то пошло не так, то в большинстве систем удаленного мониторинга есть административный режим, в котором можно остановить передачу данных, наладить датчик, внести в систему правильные параметры раствора в скважине, передать данные заново. Просто все это фиксируется. И вносить поправки, в случае обнаружения неверной работы датчика или еще каких-то проблем с достоверностью данных, в расчеты, конечно, можно, это уже не сфера нашей ответственности.

Наша ответственность в том, чтобы расчеты в научных центрах и решения, принимаемые на их основе руководителями нефтегазовых компаний, строились на достоверных, первичных геолого-геофизических данных. Блокчейн помогает снизить влияние человеческого фактора и возможность компрометации первичных данных.

- Почему вы взяли в качестве основы OpenChain, а не стали писать собственную платформу или не взяли какую-либо корпоративную?

Блокчейн-платформу как таковую разработать относительно несложно, написать к ней интерфейс, пользовательскую оболочку — тоже. И мы сначала хотели разработать свою. Но когда оценили свои силы, мы поняли, что тратить на это три-четыре месяца нет смысла. Так что мы посмотрели, какие есть продукты с открытым кодом, и выбрали OpenChain.

На тот момент это была актуальная, развивающаяся разработка. В текущий момент, увы, приходится констатировать с горечью, что она не развивается. Но есть и другие открытые платформы, на которые можно перенести наши разработки с минимальными затратами. Мы выбрали Hyperledger от Linux Foundation и сейчас переходим на нее.

Что касается того, почему мы взяли открытую платформу, то все аппаратное и программное обеспечение, создаваемое нашим научно-производственным объединением, насколько это возможно, российское.

Микросхемы китайские, конечно, но готовые комплексы — отечественные. Аналогично с программным обеспечением; если есть возможность, мы выбираем продукты с открытым кодом, адаптируем его под наши нужды, создаем готовые решения.

Поэтому, когда встал вопрос о создании блокчейн-платформы, мы не рассматривали возможность покупки ПО западных разработчиков, затем, как я говорил, отказались от разработки с нуля, а взяли продукт с открытым кодом.

- Считается, что больное место блокчейн-платформ — производительность. Вам хватает — на потоки данных с датчиков, видеопотоки?

Когда мы разрабатывали решение, то рассматривали разные варианты — снятие информации раз в десять секунд и ежесекундно. И у нас как раз были опасения, что в «ежесекундном» режиме система не справится. Но выяснилось, что хватает буквально мощности одного ядра восьмиядерного процессора для того, чтобы обсчитывать несколько скважин одновременно.

Если проблемы и возникают, то только на одной стадии — на стадии валидации. На нее может уходить, грубо говоря, от одной до десяти минут. Но мы построили работу таким образом, что валидация происходит раз в сутки по расписанию или в любой другой момент по мере необходимости.

- Каковы планы по развитию платформы?

Сейчас запланировано два направления. Во-первых, мы ставим целью расширение спектра данных, которые мы получаем со скважин. При этом данные, и не только со скважин, но и те, которые дают, например, профильные научные институты, должны быть валидированы, снабжены «подписью» — кто их выложил, когда, с точностью до секунды.

С этими валидированными данными мы хотим работать при помощи программных роботизированных систем – ботов по обработке и интерпретации геолого-геофизических данных. Это второе планирующееся направление развития.

- О чем вы предполагаете рассказать на конференции «Технологии блокчейна 2019», о чем услышать сами?

Я собираюсь рассказать об индустриальном, «немайнинговом» примере использования технологии блокчейна в нефтесервисе. В свою очередь, хотел бы услышать мнения и замечания коллег – участников конференции о нашей блокчейн-платформе для дальнейшего учета этой информации при развитии системы. Интересны примеры использования «немайнингового» блокчейна в других отраслях.

Спутниковым мониторингом транспортных средств уже давно никого не удивишь — любая компания, обладающая серьезным парком техники, не пускает его на самотек и пытается наладить за ним контроль. Однако телематические инструменты способны решить далеко не все управленческие вопросы. Даже при успешной блокировке явных коррупционных схем открытым остается вопрос доверия данным и дальнейшего повышения эффективности компании. О контроле данных и об организации процесса их выверки рассказывает Леонид Кушнир, заместитель генерального директора по ИТ компании «РесурсТранс» и соискатель премии CDO Award.

- В чем заключаются вызовы, стоящие перед компанией?

Мы занимаемся транспортным аутсорсингом и управляем парком примерно из 10 тыс. единиц транспортных средств. Любой аутсорсинг всегда сопряжен с потребностью в снижении себестоимости. Приходится не только конкурировать с другими игроками рынка, но и предлагать услуги дешевле, чем предлагают внутренние транспортные подразделения. При этом нужно не нарушать законодательство и соблюдать требования безопасности. Мы должны находить всё новые и новые способы работать дешево, качественно и безопасно.

Сокращение издержек на транспорт было одной из приоритетных задач. Я взял на себя проект по использованию в этих целях инструментов телематики, углубился в него и стал детально разбираться. На стыке телематических и учетных платформ требовалось создать процесс, который позволил бы получать достоверные данные об эксплуатации транспорта и понесенных в связи с этим затратах.

- В чем особенность выбранного вами подхода?

Леонид Кушнир: «Система проверки пробега автотранспорта стала для нас пробным камнем и показала свою эффективность. Мы поняли, что такие решения себя оправдывают, и глядим дальше — нацеливаемся на самообучающиеся системы и нейросети»

Наш подход подразумевает глубокое погружение в детализацию процессов. Я много общаюсь с коллегами из транспортной отрасли и вижу, что они зачастую не до конца осознают сложившуюся ситуацию. Внедрив телематическую систему на базе какой-либо из существующих платформ, они считают, что у них все хорошо. Да, в этих системах на карте можно увидеть машины и их уровень топлива, и всё выглядит вроде бы нормально, но на самом деле картина не столь радужна. У компаний много данных, но их никто не проверяет. А проверять нужно, причем каждый день. Это несложно сделать, если предприятие невелико и директор сам готов разбирать инциденты с водителями. Но когда парк исчисляется сотнями или даже тысячами машин, между руководителем и водителями находится несколько управленческих уровней. На каждом из них данные искажаются из-за того, что менеджеры стремятся решить свои личные задачи. Возможен и прямой сговор водителей с начальниками колонн и участков с целью использования ресурсов в своих интересах.

- То есть дело не столько в том, что телематика врет, сколько в человеческом факторе, проявляющемся на разных управленческих ступенях?

Техническая погрешность тоже есть. Заявленная точность средств телематики — 4%, точность показаний одометра — до 20%. На показания приборов влияют загруженность машины, износ шин, погрешность самого одометра, рельеф местности, дорожное покрытие и пр. Поэтому разница между плановым и фактическим потреблением горючего может доходить до 20%. И это исключительно объективные факторы.

Есть и другие погрешности: например, если давление в шинах понижено, показания пробега увеличиваются на 5%. Подспустив колеса, водитель такой нехитрой манипуляцией вполне может обмануть технику. В транспортных компаниях машины проезжают минимум 5 тыс. км в месяц, и эти 5% превращаются во вполне ощутимую сумму.

Второй фактор — непосредственное воздействие на оборудование с целью накручивания показаний. К сожалению, в России это очень популярное занятие. При попустительстве руководства водитель может накрутить пробег до 100%, такие прецеденты случались неоднократно, и поэтому приходится исходить из того, что словам сотрудников не следует доверять. Причем манипуляции настолько профессиональны, что отследить их без помощи спутников невозможно. Требуются решения, способные автоматически контролировать правдоподобность цифр, заносимых в учетные системы.

- В чем проблема перехода на данные объективного контроля?

После принятия решения о том, что мы доверяем только данным спутникового мониторинга, пришлось пройти аудит в KPMG, который подтвердил, что так можно делать — у нас есть письмо от Министерства финансов, разрешающее принимать к учету пробег по системе ГЛОНАСС. Таким образом, появилась возможность принимать пробег от системы мониторинга.

Мы несколько раз пытались внедрить системы мониторинга, однако в реальности они не работали. Проблема кроется именно в расхождении данных. Сначала пробовали сверять показания, предоставленные водителем, с системой мониторинга. Диспетчеры, выявляя расхождения, считали показания мониторинга ложными и принимали показания от водителей, потому что «нет оснований им не доверять», прикрывались инструкциями и регламентами.

Мы ввели показатель качества работы системы — процент принятия пробега по системе ГЛОНАСС, то есть данных, которым мы полностью доверяем. Он не превышал 30%. Мы выезжали в филиалы и разбирались на местах, но переломить ситуацию не получалось.

Решили, что проверять данные должны независимые сотрудники, выделенные в отдельное подразделение — центр компетенций в Нижнем Новгороде, где 10 человек следили за пробегом транспортных средств. Но работа по-прежнему велась вручную: диспетчер, принимая путевой лист от водителя, связывался с центром компетенций и запрашивал информацию о достоверности пробега. В случае недостоверности данных оборудование считалось неработающим и создавалась заявка на его ремонт. Конечно, мы сразу столкнулись с тем, что водители стали ломать оборудование, пришлось организовывать быструю его поставку и замену. В результате этих усилий мы вышли на показатель достоверности данных 90%, а затем и 95%. Мы считаем, что это уже хорошо.

- На каком этапе возникло желание уйти от человеческого труда?

В пилотном центре компетенций работали 10 сотрудников со средней зарплатой 35 тыс. руб. Каждый из них может обрабатывать данные 50 машин, а у нас ежедневно выходят на линию 8 тыс. машин. При масштабировании проекта это означает наем 160 диспетчеров и колоссальные издержки на фонд оплаты труда.

Мы начали анализировать данные. Я проводил экспертную оценку закономерностей с целью роботизировать процесс сверки данных. В результате удалось разработать алгоритмы принятия решений, как совсем простые, так и довольно сложные — при тех или иных параметрах качества системы мониторинга, параметрах спутников, датчиков скорости.

Усилиями партнеров в телематическую платформу Wialon и учетную систему — собственную конфигурацию на базе «1С» — был встроен модуль по анализу качества данных. Проверка осуществляется не только по телематическим данным, но и по путевым листам и их последовательности, а также с учетом прежних инцидентов с водителем. Появляются «черные» и «серые» списки транспортных средств, анализируются прочие закономерности, и самые частые события не остаются без внимания.

Разработанную систему удалось масштабировать на 8 тыс. единиц транспортных средств. Теперь для сверки данных не нужно звонить в диспетчерский центр. Сам робот мгновенно дает ответ на вопрос, корректен ли пробег по системе мониторинга. У нас осталось лишь шесть диспетчеров, они обрабатывают спорные моменты. По нашим оценкам, лишь 2% показаний попадают в диспетчерский центр для принятия нестандартных решений, все остальные проверяются автоматически.

Не менее важно то, что радикально ускорились процессы. Раньше у диспетчера было два часа на обработку заявки вручную, и люди на местах были вынуждены ждать, не имея возможности закрыть документы. Приходилось тратить больше времени на выполнение своих обязанностей. Роботизация высвободила много времени.

- Каков достигнутый эффект?

Реализация проекта дала возможность снизить пробеги на 30%. Прямая экономия на топливе составила 470 млн руб. в год. Эффект превзошел ожидания. Мы рассчитывали на сокращение затрат хотя бы на 10%.

Сэкономленные средства пошли на дальнейшие ИТ-разработки и обновление парка машин. Обновление парка положительно сказывается на лояльности и клиентов, и водителей.

- В чем заключается роль этого проекта для развития компании?

Наши идеи удалось реализовать совершенно небольшими усилиями партнеров, наладивших интеграцию между системами и разработавших и вписавших ботов в наши системы. Теперь, если мы видим в каком-то регионе снижение уровня приема данных, это становится известно руководству и является поводом для разбирательств, заканчивающихся в том числе увольнением руководства филиала. Например, в астраханской автоколонне руководство сменили трижды, прежде чем показатель честности приблизился к среднему по стране.

Конечно, важно использовать получаемые данные в системе мотивации. При показателе качества данных ниже 95% руководство участков, автоколонн и филиалов автоматически лишается премий. Во многом благодаря этому удалось выйти на впечатляющие показатели экономии.

- А каким вы видите будущее интеллектуальных систем в вашей компании?

Внедрив систему мониторинга транспорта, мы получили данные, с которыми можно работать. Это стимулирует дальнейшую работу, направленную на их анализ. Только посредством роботизации, ускорения процессов и улучшения производительности труда в целом мы можем сделать услуги дешевле и качественнее. Система сама должна выполнять многие рутинные, а желательно и более сложные операции. Инструменты должны частично вытеснить человека.

Мы многое делаем для перевода процессов под управление роботами: налаживаем максимально детализированный учет, в том числе запчастей, анализируем поставщиков и эффективность работы с ними и формируем уровень доверия к ним. С помощью системы мониторинга мы контролируем, вовремя ли техника подана клиенту, создаем систему контроля загрузки водителей.

Система проверки пробега автотранспорта стала для нас пробным камнем и показала свою эффективность. Мы поняли, что такие решения себя оправдывают, и глядим дальше — нацеливаемся на самообучающиеся системы и нейросети.

Например, сейчас думаем о создании цифровых помощников руководителей, способных выступать консультантами. У нас много руководителей (например, почти 250 начальников участков), и их уровень подготовки различен. Многие недостаточно хорошо понимают свои показатели эффективности и не всегда владеют всеми существующими методами решения проблем. Разработанные роботы могли бы на базе опыта наших лучших специалистов подсказывать пути решения задач. После прохождения стадии «помощника» они естественным образом превратятся в полностью роботизированные системы, руководящие сотрудниками.

Розница – один из тех бизнесов, где вложения в большие данные и современную аналитику способны дать реальный и немалый экономический эффект. Однако, чтобы раскрыть их потенциал в полном объеме и вовремя, необходима планомерная, сложная работа. Антон Мироненков, директор по большим данным Х5 Retail Group, соискатель премии CDO Award, рассказывает о создании в компании дирекции по большим данным, ее первых достижениях и планах на ближайшее будущее.

- Как и почему в Х5 появилась структура для работы с большими данными?

Год назад в компании по теме больших данных не было ничего, дирекция по большим данным создавалась с нуля. Хотя, конечно, системы аналитики в компании использовались, без них мы не могли бы ежедневно пополнять товарами более 14 тыс. магазинов и платить зарплату 200 тыс. сотрудникам. Но не было централизованного хранилища данных по клиентам, которые можно быстро извлекать в нужных разрезах, обрабатывать и делать на их основе важные для бизнеса выводы. За год удалось создать такое хранилище, внедрить средства работы с ним, включая современные инструменты визуализации, и все это собрать в единую систему.

Антон Мироненков: «В сфере больших данных люди – самый ценный и самый дорогой ресурс»

Все началось с идеи. Мы проанализировали опыт западных ретейлеров по применению аналитики больших данных, в том числе побывали в нескольких компаниях и поняли, что обладание такими компетенциями может стать конкурентным преимуществом. Вместе с консультантами мы описали структуру нового подразделения, какие специалисты нам понадобятся, какая требуется инфраструктура, как выстроить data governance и т.д., и затем начали искать людей и параллельно формировать инфраструктуру.

При этом мы столкнулись с типичной проблемой, которая так или иначе возникает при создании подобных структур: данных в компании много, но прежде чем их можно будет использовать, все они требуют обработки. Их надо чистить и структурировать. Например, мы обнаружили, что данные по программе лояльности и чековые данные о покупках хранятся в разных форматах. Поэтому задача была не просто запустить инфраструктуру, куда можно складывать данные, но и обеспечить, чтобы данные собирались в правильном виде.

Параллельно с созданием инфраструктуры и сбором данных мы стали выяснять, какие потребности бизнеса можем реализовать. Было собрано около 200 кейсов и для тех из них, которые обладали потенциалом принести наибольшие выгоды для Х5, были сформированы продуктовые команды. К настоящему моменту ряд продуктов доведен до стадии MVP (minimum viable product), один запущен в продуктивную эксплуатацию.

- Что это за продукт?

Набор отчетности для переговорных кампаний с поставщиками. Если раньше для анализа поставщика приходилось долго и сложно сравнивать данные из десятков таблиц Excel, то сейчас буквально двумя кликами можно получить исчерпывающую информацию по любому вендору – история взаимоотношений, на каком они уровне находятся в данный момент и где потенциал для дальнейшего развития.

С решением постоянно работают более 100 сотрудников.

- Каким образом выделялись продуктовые направления, которые приносят деньги. Это были ваши гипотезы, результат серьезного анализа или запрос от бизнеса?

Они появились из нескольких источников. Во-первых, лучшие мировые практики. Во-вторых – обсуждение с бизнесом, показавшее, какие из этих практик работают не только на Западе, но и у нас. И в-третьих – идеи, появившиеся в результате мозгового штурма в команде. Затем выявленные направления были приоритезированы. Впрочем, любой, кто в ретейле работает не первый год, скажет вам, что основные деньги в нашем бизнесе приносят правильная работа с ассортиментом, ценообразование, промоактивности. Конечно, эти направления оказались в приоритете и в Х5.

Затем мы стали глубже анализировать каждое из направлений – какие данные используются, что должно получиться на выходе, степень возможной автоматизации. Будет ли это инструмент, который помогает принимать решение, как в случае отчетности для переговорных кампаний, или полная автоматизация определенных процессов так, чтобы человек в них вообще не участвовал. Ведь, как правило, пользователей можно условно разделить на «отличников», «хорошистов» и «троечников». Если в процесс вмешивается «отличник», у него получается лучше чем у системы, по крайней мере на начальном этапе, но если в систему вмешивается «троечник», получается хуже. На большом масштабе автоматизация позволяет в среднем результат подтянуть до более высокого уровня. Это не значит, что люди не нужны. Они теперь системно занимаются тем, чтобы процесс работал правильно, а не улучшением результата процесса на каждом из его этапов, то есть меняют алгоритм вместо того чтобы искать правильные решения в отдельных точках.

- Речь идет о внедрении машинного обучения или пока только автоматизации заданных алгоритмов?

Мы используем различные подходы, в том числе машинное обучение. В некоторых случаях простая линейная регрессия дает хороший результат. Например, в продукте «Ассортимент» статистическими методами на основе чеков строится дерево принятия решения покупателем, а оптимизация ассортимента реализуется с помощью машинного обучения.

Еще один классический оптимизационный инструмент применяется в ценообразовании. На входе он получает большое количество параметров (исходные цены, цены конкурентов, маржинальность товаров, условия по логистике), чтобы на выходе ежедневно генерировать оптимальные цены на товары в магазинах.

При этом мы никогда не зацикливаемся на одном подходе для конкретной задачи, модель должна становиться все более точной со временем. Специалисты из команды data science находятся в постоянном поиске улучшений: если из этого метода мы выжали все, давайте попробуем вместо деревьев решений применить нейронную сеть, а затем добавим к ней дополнительные слои. Наш продукт – это не монолит, а живой организм, который постоянно дорабатывается. Поэтому продуктовые команды работают по принципам Agile – они отвечают за то, чтобы бизнес-результат был лучше и лучше с каждой итерацией.

- Сколько продуктов реализовано за год?

У нас восемь продуктовых команд. Но потребностей у бизнеса больше, и периодически приходится формировать временные девятую и десятую команду, чтобы срочно реализовать ту или иную задачу.

- Какова связь стратегии дирекции по большим данным с бизнес-стратегией компании?

До того, как возглавить подразделение по работе с большими данными, я отвечал за стратегию Х5, поэтому прекрасно представляю задачи бизнеса и могу говорить с ним на одном языке. Это очень помогло в формировании нашей продуктовой линейки. Наш план на текущий и будущий год увязан со стратегией компании в целом и со стратегией каждой торговой сети, входящей в Х5.

Несколько лет назад в X5 было принято решение о децентрализации. Каждая сеть получила достаточную свободу, чтобы развивать собственное клиентское предложение, в чем-то конкурировать, иметь ресурсы для самостоятельного ведения бизнеса. Как следствие, сети различаются и с точки зрения используемых ИТ-решений. Даже данные в анкетах программы лояльности в разных сетях не идентичны, хотя и пересекаются процентов на 80. Поэтому обычно мы не можем сделать одинаковый продукт для всех трех сетей.

Часто бывает так, что мы разрабатываем решение, например, для «Пятерочки», рассказываем о нем в «Перекрестке», и менеджеры сети высказывают желание получить аналогичный продукт. Тогда продуктовая команда делает кастомизацию решения под другую сеть. Происходит миграция знаний и продуктов между торговыми сетями.

- Как организована работа вашего подразделения?

Команды работают по принципам Agile и включают в себя все необходимые группы специалистов – data science, аналитики данных, бизнес-аналитики, менеджеры продуктов, DevOps. Есть и системные инженеры, которые отвечают за инфраструктуру определенного уровня. Базовую инфраструктуру для нас поддерживает ИТ. Но у нас остается возможность разворачивать инфраструктурные слои более высокого уровня, необходимые для наших решений. Это нетипичный подход, но по-другому скорости просто не достичь. Чем больше ресурсов в одном месте сконцентрировано, тем быстрее можно двигаться. А скорость – это наша первоочередная задача.

Процессы data governance реализуются в нашей дирекции и в ИТ. Мы занимаемся контролем качества данных во входных потоках, которые получаем на свой кластер. Но кроме этого необходимо обеспечивать качество данных на источниках, которые расположены в других местах корпоративной архитектуры. За это отвечает ИТ.

Сейчас процессы data governance включают в себя сбор, обеспечение качества, описание собранных данных и формирование требований к конечным витринам. Очень важной составляющей data governance являются также корпоративные политики работы с данными, но здесь мы еще в самом начале пути. Корпоративная политика задает стандарт ввода данных для бизнес-пользователей, тем самым закладывается основа для того, чтобы данные были качественными при всех дальнейших использованиях.

Нам необходимо наладить процесс регламентации ввода данных, и это займет немалое время, поскольку груз проблем в этой сфере за годы существования компании накопился очень большой.

- Какие данные используются для реализации ваших продуктов – внутренние данные компании или вы привлекаете также внешние данные с рынка?

Мы активно обсуждаем с телекомом, с банками, какие решения мы можем сделать вместе, обогащая данные. И пришли к выводу, что те данные, которые есть у нас, гораздо более полезны другим игрокам, нежели нам полезны внешние данные с рынка. Почему? Потому что у нас очень много данных внутри компании, и их, как правило, достаточно для реализации различных идей по улучшению бизнеса. Наша основная задача при работе с данными — наладить процесс получения и постоянной актуализации этих данных, а также сделать так, чтобы данные, которые единожды получены, неважно из какого источника, были доступны всем заинтересованным бизнес-пользователям.

Надо отметить, что в Х5 с большими данными работает не только дирекция больших данных. Наиболее сложные вещи, которые требуют написания кода и ведут к созданию продукта, мы делаем централизованно. Это специализированные задачи, которыми должны заниматься квалифицированные специалисты, а в сфере больших данных люди – самый ценный и самый дорогой ресурс.

При этом от бизнеса постоянно возникает большое количество сиюминутных запросов, поэтому мы обеспечиваем бизнес-пользователей данными, с которыми они могут самостоятельно делать любую аналитику. Причем очень важно, чтобы все было совершенно прозрачно – где взять нужные данные, как их обработать и что делать с результатом. Но если одна и та же задача возникает постоянно, мы берем ее на себя. Мы стараемся освободить аналитиков от рутины, чтобы они могли заниматься более продуктивными задачами.

- Что представляет собой технологическая инфраструктура больших данных в X5?

У нас полный стек необходимых инструментов. «Холодные» данные собираются в озере данных на базе Hadoop, дальше в зависимости от приложения данные перемещаются в более быстрые базы – Greenplum, Qlickhouse. Для загрузки данных используются классические ETL-инструменты, для визуализации – Qlicksense, Tableau.

- Что было самым сложным за этот год?

Самое сложное – наладить работу команды. Наш Agile пока часто «перпендикулярен» тому, как работает остальная компания. С одной стороны, бюджет, оргструктура, регламентированный процесс найма человека, с другой – скорость процессов Agile. Как увязать между собой еженедельные спринты с ежегодной оценкой эффективности сотрудника? Объясняем, договариваемся, где-то меняем процессы в самой компании.

- А что вы можете поставить в заслугу дирекции больших данных?

Главное достижение – скорость. Я очень рад, что удалось меньше чем за год собрать сильную команду. Когда к нам приходят на собеседование специалисты по data science, они спрашивают, с кем будут работать, и быстро соглашаются, когда слышат фамилии. Для меня это показатель качества команды. Второй показатель – то, что за короткий период мы довели несколько продуктов до стадии MVP и один до промышленной эксплуатации и уже получаем много положительных отзывов от пользователей.

Мы построили гибкую инфраструктуру, в которую можно быстро адаптировать дополнительные инструменты, если понадобится. Развернули хранилище из более 80 узлов в кластере, которое удалось быстро наполнить.

Скорость – это главное, к чему мы стремимся. Я постоянно говорю ребятам: «возможно, вы сделаете это гораздо лучше через год, но тогда это уже никому не будет нужно». Меняются потребности бизнеса, технологии уходят вперед, а задачи надо решать здесь и сейчас.

- Не в ущерб качеству?

Это же Agile. Конечно, продукты дорабатываются. Но для этого и нужен постоянный диалог с бизнесом.

- Какой эффект получит бизнес от продуктов на базе больших данных, когда они будут введены в промышленную эксплуатацию? Например, я – постоянный клиент «Перекрестка». Какие я почувствую улучшения?

Возьмем для примера такое решение, как ассортиментный план. Главный результат его применения состоит в том, что, если раньше вы приходили в супермаркет и клали в корзину 7 товаров, то сейчас будете класть 8. Вам не придется обходить несколько магазинов, вы здесь найдете все, что вам нужно. И в целом увеличивается число клиентов сети, когда люди понимают, что могут найти в магазине все необходимое и, возможно, по более выгодной цене, чем у конкурентов.

Другой пример – промоакции. Продукт позволяет правильным образом изучить аудиторию в конкретной локации, понять, какие магазины рядом, как правильно сделать скидку на определенный товар и каким людям из программы лояльности нужно ее предложить. Пилот по этому решению продемонстрировал рост трафика в магазинах на несколько процентов – это очень хороший результат. Лояльность покупателей тоже выросла.

- Ваши планы на будущее?

Главная цель ближайших нескольких месяцев – вывести в продуктив те продукты, которые сейчас находятся на стадии MVР. Это не самая простая задача, поскольку необходимо быстро и без лишних затрат масштабировать успешный пилот с сотни на несколько тысяч магазинов.

В апреле должны быть завершены проекты по ассортименту и ценообразованию. Весной планируется улучшить качество прогнозирования продаж в сети магазинов «Перекресток». Это обеспечит повышение точности заказа товаров на склад, как результат, сократится количество продуктов, которых нет на полках, и это, в свою очередь, положительно отразится на продажах.

Я люблю смотреть разные спортивные игры. Можно сказать, я просто рожден для этого занятия. А вот играть в них — не мое призвание. И однажды мне стало интересно, чем мир спорта схож с миром программного обеспечения, а точнее — с моделью DevOps. В какой-то момент меня осенило, что если и есть что-то, совсем не похожее на спорт, то это модель DevSecOps. Попробуем разобраться на примерах.

С самого начала сохранение безопасности процессов DevOps было общей обязанностью, и в результате возникло такое понятие, как DevSecOps. DevSecOps — это полностью интегрированная система, а не просто безопасность «вокруг» приложений и данных. Если безопасность перенесена в конец конвейера разработки, то организации, внедряющие DevOps, могут оказаться в ситуации, когда придется вернуться к долгим циклам разработки, которых они пытались избежать. DevSecOps означает, что нужно думать о безопасности приложений и безопасной инфраструктуре с самого начала работы. Также подразумевается необходимость автоматизации некоторых доступов для того, чтобы поддерживать рабочий процесс, а не тормозить его. Однако DevSecOps — это больше, чем подобранные инструменты. Это система, построенная на культурных изменениях DevOps для внедрения в работу security-команд, и чем раньше такое произойдет, тем лучше.

1. Нельзя во всем винить вратаря

Я начну с сугубо личного, но, надеюсь, хорошо понятного примера: когда в детстве мы играли в футбол, меня, как наименее ценного игрока, обычно ставили на ворота. И всякий раз, когда мяч со всей дури влетал в ворота (или неторопливо закатывался в них мимо меня), все, конечно же, винили вратаря. Должен сказать, что такой подход не только ужасно влияет на командный дух, но и является полной противоположностью тому, как необходимо работать в команде.

С другой стороны, лично меня напрягают фразы типа: «Безопасность в DevSecOps — это ответственность каждого». Далеко не каждый является экспертом по безопасности, хотя все участники команды обязаны понимать, что такое правильно организованные процессы, и нести определенную ответственность за их выполнение. И если что-то идет не так, не следует возлагать всю вину только на одного человека. И не забывайте о том, что в DevSecOps у вас есть все возможности, создав соответствующие тесты, оперативно устранить проблему и избежать ее дальнейшего появления.

2. Вы не знаете, кто ваш противник

В спорте всегда известен соперник. Вы знаете, кто он, где он, и можете оценить его действия в различных игровых ситуациях. Вы не всегда можете его остановить, зато точно понимаете, какие цели он преследует. В обычных ИТ-проектах это далеко не так, а в модели DevSecOps всё вообще не так, поскольку есть вы — те, кто занимается разработкой, тестированием и эксплуатацией различных уровней стека приложений, и есть противники, сильно различающиеся в плане ресурсов и профессионализма. И ключевая фраза здесь — «есть вы». И если «вы» — действительно команда, то совокупные знания ваших специалистов можно применять для реализации более амбициозных решений, которые практически невозможно выполнить в рамках стандартной модели «проектирование —разработка — тестирование — развертывание».

3. В отличие от спорта, здесь нет правил

Да, такой вот жесткач. В спорте противник играет по тем же правилам, что и вы, иначе он получит предупреждение от арбитра, рефери или другого спортивного судьи. Было бы здорово, если бы тех, кто атакует ИТ-инфраструктуры и приложения, всегда ловили и наказывали, но, к сожалению, нет никаких предпосылок для ожидания такого счастья в ближайшем будущем. Поскольку у вас вряд ли будет возможность отслеживать в реальном времени действия противника и активно контратаковать, вам надо продумать, какие исправления можно задействовать, как их применять и насколько быстро их можно запустить. Важно отметить, что эту задачу не надо сваливать только на тех членов вашей команды, которые отвечают за безопасность. Хотя эксперты по безопасности могут неплохо спрогнозировать возможные атаки, именно основной инженерный и операционный персонал лучше всего сможет оценить, как скажутся последствия атак на работе системы, поэтому эти люди и должны разрабатывать соответствующие меры по смягчению последствий при возникновении проблем.

4. В игре участвуют все и всё время

Во всех командных видах спорта во время игры на поле находятся далеко не все участники команды. А вот в DevSecOps можно задействовать абсолютно всех. Тренер не обязан наблюдать за игрой со стороны и может привлекать вспомогательный персонал (а точнее говоря — экспертов по производительности и разного рода технических специалистов) в моменты, когда возникает такая потребность. По мере роста количества итераций каждый участник команды довольно быстро сможет внести свой вклад, поскольку изменения будут возникать как на уровне приложения, так и в среде развертывания на уровне безопасности. Кроме того, командам DevSecOps не стоит изолироваться от других сотрудников и подразделений организации: если вам нужно привлечь кого-то из них на денек-другой, не стесняйтесь это делать. Не бойтесь действовать быстро и признаваться в том, что вам нужна помощь.

5. В проигрыше нет ничего страшного

В спорте принято думать о том, как одержать победу, невзирая на условия и силу соперника. Но и поражение является необходимым инструментом. Лучшие спортсмены и команды знают, как его использовать, чтобы в следующий раз выступить, выполнив «работу над ошибками». В DevSecOps надо поощрять команду и не бояться проигрывать, поскольку только опыт поражений позволит сделать приложения и проекты лучше. Уже никто не верит, что можно создать абсолютно неуязвимые приложения и системы. Главный вопрос не в том, смогут ли вас взломать, а в том, когда это произойдет и где. Поэтому стройте свои процессы, отслеживая подозрительную активность, и будьте готовы минимизировать последствия атак. Первым делом стоит убедиться в том, что ваши процессы позволяют учиться на ошибках и помогают повысить эффективность, надежность и устойчивость вашего проекта и команды на следующей итерации.

Подводя итоги

Я не утверждаю, что между DevSecOps и спортом нет ничего общего. Сходство есть, и достаточно большое. Вот наиболее очевидные общие черты: серьезные изменения требуют серьезного распределения ответственности как сверху вниз, так и снизу вверх; в команде важны эффективные коммуникации друг с другом и слаженная реакция на угрозы в реальном времени. Я не настаиваю на том, что различия — это главное. Но иногда лучше сравнивать отличия, а не сходные черты. Это, как говорится, открывает глаза.

Автор — Майк Берселл, главный архитектор по безопасности Red Hat

Эксперты пока не пришли к единому мнению о том, сколько рабочих мест роботизация бизнес-процессов (Robotic Process Automation, RPA) уничтожит, а сколько создаст — в частности, в МТИ проанализировали ряд исследований, обнаружив, что прогнозы на этот счет сильно расходятся. Но так или иначе, автоматизация идет полным ходом: в компаниях внедряют соответствующие технологии для оптимизации процессов бизнеса, ИТ, разработки и обслуживания. С ростом этой тенденции в компаниях всех отраслей все более остро ощущается потребность в инженерах по автоматизации — они помогают обеспечивать автоматизацию предприятия и контролируют соответствующие процессы.

Роль инженера по автоматизации

Автоматизация всегда была одним из столпов производства, но в бизнесе, здравоохранении и финансовой индустрии применяется с относительно недавнего времени. Вне производства средствами ИТ обычно автоматизируют обслуживание и контроль качества процессов. Задача инженера по автоматизации — устранять дефекты и ошибки в процессах разработки продуктов или ПО, а также в процессах бизнеса и обслуживания клиентов.

Кроме того, предприятия все активнее внедряют чатботов, которые помогают разрешать проблемы клиентов или переадресовывать их на нужного специалиста — такими внедрениями тоже руководят инженеры по автоматизации. Автоматизированные средства помогают передавать сведения об инцидентах в службу поддержки, управлять услугами и более быстро выпускать качественные продукты и ПО, уменьшая процент брака. В конечном счете цель инженера по автоматизации — уменьшить нагрузку на работников и повысить эффективность и надежность за счет избавления от лишних и нестандартизованных ручных процессов.

Обязанности инженера по автоматизации

В отделе ИТ такой инженер обеспечивает внедрение решений по автоматизации процессов, связанных с программным обеспечением. Он работает в тесном взаимодействии с другими специалистами, обнаруживая и устраняя проблемы путем уточнения требований. Автоматизироваться могут процессы, касающиеся оборудования, ПО, а также обслуживания и бизнес-деятельности.

В числе обязанностей инженера по автоматизации — выяснение возможностей автоматизации процессов, касающихся ПО; разработка и выполнение автоматических тестов контроля качества на основе скриптов; тестирование баз данных, систем, сетей, приложений, оборудования и ПО; выявление ошибок и проблем качества в рамках процессов разработки, обслуживания и ведения хозяйственной деятельности; установка приложений и баз данных для автоматизации; взаимодействие с другими бизнес-единицами с целью выяснения возможностей улучшения рабочих процессов с помощью автоматизации; сбор сведений о требованиях внутренних и внешних клиентов и конечных пользователей с целью разработки оптимальных решений автоматизации.

Навыки инженера по ИТ-автоматизации

Инженеру по автоматизации необходим широкий круг технических и личностных навыков. Необходимы знания о системах, сетях, оборудовании и ПО, с которыми предстоит работать, а кроме того, нужны способности общаться и взаимодействовать с другими бизнес-подразделениями, с клиентами и покупателями. Чаще всего нужны навыки программирования на C#, SQL и Java, но для различных отраслей может понадобиться знание других языков программирования и инструментов. Также требуются практические знания мобильных и настольных операционных систем, веб-технологий, опыт в сфере аналитики, робототехники, искусственного интеллекта и машинного обучения. Важны лидерские качества, поскольку вам предстоит руководить проектами оптимизации бизнес-процессов с участием многих отделов.

Чаще всего инженеру по автоматизации нужны навыки и знания в следующих областях: автоматизация и робототехника, искусственный интеллект и машинное обучение, программирование и написание скриптов, управление проектами; Agile, DevOps и облачные вычисления; навыки анализа и решения проблем; лидерские и коммуникативные навыки; опыт в сфере компьютерных наук и инженерного проектирования.

Как стать инженером по автоматизации

Требуется получить как минимум степень бакалавра в области компьютерной науки, проектирования компьютерных систем или близких областях. Необходимо пройти программу обучения, включающую курсы робототехники, баз данных, математической статистики, искусственного интеллекта, систем управления и нейронных сетей. Некоторые работодатели требуют наличия магистерской степени и опыта ручного и автоматизированного тестирования.

Специалист по автоматизации работает на стыке инженерного проектирования, научных исследований и ИТ, но конкретный набор навыков варьируется в зависимости от отрасли. Чтобы уточнить ситуацию с необходимыми навыками, инструментами и уровнем образования, можно ознакомиться с объявлениями о соответствующих вакансиях на предприятиях различных отраслей. Чаще всего, подобная вакансия называется «инженер по проектированию решений автоматизации», «инженер по системам автоматизации», «специалист по автоматизации», «инженер по автоматизации контроля качества», «инженер по автоматизации полного цикла», «инженер по автоматизации тестирования» и др.

Инструменты автоматизации

Чаще всего такому специалисту придется иметь дело со средствами автоматизации тестирования. Такие инструменты помогают автоматизировать рассылку уведомлений, а также внедрять процессы контроля качества и автоматизированного тестирования в организации. Кроме того, они также помогают в устранении проблем и распространении отчетов.

По данным Capterra, к числу программных средств автоматизации тестирования, получающих самые высокие оценки, относятся следующие продукты: UiPath Robotic Process Automation, Cypress, LambdaTest, Rainforest, Testim, Usetrace, pCloudy и PractiTest.

- Sarah K. White What is an automation engineer? A growing role to address IT automation. CIO. November 23, 2018

Ретейлеры открывают для себя все новые возможности использования технологий Интернета вещей в бизнесе, но в 2019 году мы скорее станем свидетелями реализации экспериментальных программ и тестирования в небольших масштабах, нежели увидим глобальные повсеместные сдвиги в этой сфере.

Ликвидация разрыва между электронными покупками и приобретением товаров в физических магазинах, усиление автоматизации и новые способы привлечения клиентов (по большей части за счет показа им рекламы) – все это обладает для розничной торговли большим потенциалом, но соответствующие технологии еще только начинают получать массовое распространение.

Стоит отметить, что некоторые применения Интернета вещей в ретейле не являются специфичными для розничной торговли. Компании используют средства управления ресурсами, интегрированные системы отопления, кондиционирования и вентиляции и другие технологии «умных» зданий точно так же, как и во многих других отраслях, но в последнее время ретейлерам приходится нелегко, и инвестиции в новые технологии очень быстро могут выпасть из списка их приоритетов.

Впрочем, как бы то ни было, Интернет вещей постепенно начинает доминировать в сфере розничной торговли. Неудивительно, что лидирующее положение здесь занимает один из крупнейших игроков в этой области.

Пустой реестр

Гигант розничной торговли Amazon давно использует технологии Интернета вещей – сложные цепочки поставок и логистические функции здесь хорошо документированы и уже успели доказать свою эффективность. Упаковкой товаров на огромных складах занимаются армии роботов, а программное обеспечение осуществляет централизованное планирование, определяя наиболее эффективные способы доставки несметного количества заказов по всему миру.

Вместе с тем, по словам вице-президента Forrester Research Сучариты Кодали, некоторые из самых современных технологий Интернета вещей не вполне подходят для таких операций.

«Интернет вещей очень дорог и используется для мониторинга особо ценных поставок (например, медицинских), для которых зачастую необходимо соблюдение определенного температурного режима, – подчеркнула она. – Для игрушек и малоценных подарков, доставляемых с целью экономии самым дешевым способом, он не годится».

Впрочем, в отношении розничных магазинов Amazon вынашивает еще более амбициозные, чем для электронных продаж. Помимо новой волны традиционных магазинов компания открывает полностью автоматизированные магазины Amazon Go.

Работает это так: при входе в магазин покупатели регистрируются, сканируя свой штрих-код. Затем они берут с полок все, что им понравилось, и уходят, а приложение автоматически выставляет счет за выбранные товары в аккаунте Amazon.

Естественно, в таких магазинах очень многое остается за кадром. По словам вице-президента Gartner Марка Ханга, центральное место в предлагаемой концепции занимает технология интеллектуального зрения – использование камер для отслеживания отдельных покупателей и их физического местоположения в магазине. Но помимо этого есть много чего еще, а компания предпочитает не раскрывать подробности функционирования своей системы.

Конечно, у наблюдателей есть определенные предположения – существенную роль здесь, по мнению Ханга, играют датчики на самих полках.

«В Amazon никогда не раскрывали, как работают магазины Amazon Go, но, поискав немного в Интернете, вы обнаружите, что компания зарегистрировала ряд патентов на технологию 'умных' полок».

Именно так действует стартап Zippin, применяющий похожие автоматизированные средства в розничных магазинах. Датчики веса на полках дополняют технологию интеллектуального зрения, обеспечивая более точное отслеживание происходящего. Основатель Zippin Кришна Мотукури сообщил, что для полного покрытия магазина площадью 90 квадратных метров достаточно всего 15 камер. При этом в одном из магазинов Amazon Go (хотя и большей площади) их установлены сотни.

В настоящее время Zippin управляет флагманским магазином в Сан-Франциско в основном для демонстрации своих технологий. У Amazon Go имеются уже шесть площадок – три в Сиэтле, две в Чикаго и одна в Сан-Франциско, а к 2021 году компания планирует открыть 3 тыс. магазинов.

Помимо новой волны традиционных магазинов компания Amazon открывает полностью автоматизированные магазины Amazon Go.

«Хотите купить [$item]?»

Ритейлеры любят узнавать о своих покупателях побольше, и вряд ли кого-то должно удивлять, что что они используют технологии Интернета вещей для их изучения и трансляции полученных знаний в увеличение потенциальных продаж.

Интернет-магазины уже давно обладают преимуществом в этой области, отслеживая на сайтах продавцов файлы cookie, собирая демографические сведения, информацию о наших предпочтениях и географическом местоположении, а также многое другое. Однако и розничные магазины все чаще используют Интернет вещей для этих же целей.

По словам вице-президента IDC Лесли Хенд, курирующей сектор розничной торговли, его представители важнейшими инновациями считают средства контекстного взаимодействия с клиентами в реальном времени.

«Они обращаются к мобильным телефонам клиентов с учетом их текущего местоположения и предпочтений, пытаясь наладить индивидуальное, контекстное и персонализированное взаимодействие», – указала она.

На практике здесь используется технология маяков. Ретейлеры заинтересованы в долгосрочном применении маяков в качестве средства персонализированного привлечения клиентов, находящихся поблизости (посредством рекламы).

Более 30% представителей сектора розничной торговли сообщили, что вмонтированные в полки датчики веса и умные камеры (подобные тем, о которых говорилось выше, когда речь шла об автоматических магазинах) помогают получить четкую картину наполнения клиентами своих тележек. Идея заключается в том, чтобы адаптировать продажи к особенностям покупателей или, по крайней мере, предлагать им какие-то конкретные товары.

Компания Wal-Mart уже подала заявку на патенты биометрических устройств, закрепленных на тележках и корзинах для покупателей. «Предположительно это делается для того, чтобы клиент мог получить информацию о состоянии своего здоровья, – заметила Хенд. – Но в Wal-Mart хотят знать и местоположение покупателя внутри физического магазина».

Все эти технологии, по словам Ханга, еще подлежат осмыслению, и не факт, что покупатели смогут встретить их в каждом магазине уже в период нынешних рождественских распродаж. Технология маяков, например, получила более широкое распространение на спортивных аренах и в аэропортах. Но, как уже отмечалось ранее, владельцы физических магазинов по-прежнему сталкиваются с серьезными экономическими трудностями, поэтому для рядовых магазинов расходы на внедрение новейших технологий не являются сегодня главным приоритетом.

Jon Gold. Retail IoT is still coming into its own in 2019. Network World. November 19, 2018