Газпром

Самообслуживание в работе с данными становится мейнстримом: тему развития сервисов самообслуживания так или иначе затронули практически все представители бизнеса, выступившие на форуме «Управление данными — 2022», организованном издательством «Открытые системы». Даже функции обеспечения информационной безопасности в какой-то части делегируются сотрудникам бизнес-подразделений (см. врезку «Защита данных в документах: cам себе админ»). Представители компаний Tele2, «Уралхим» и «Газпром нефть» в своих выступлениях фокусировались главным образом на самообслуживании в области бизнес-аналитики.

Tele2: девять «пилотов» сразу

После ухода из России западных вендоров, на основе решений которых были построены бизнес-процессы Tele2, компания столкнулась с серьезными проблемами. Особенно болезненной оказалась ситуация с BI-системой Tableau: ее использовали многие разработчики, а кроме того, с ее помощью составлялось множество отчетов, пробуксовка в выдаче которых грозила замедлением процессов и потерей прибыли.

Чтобы спасти положение, команда экспертов провела анализ рынка и, изучив полтора десятка решений, запустила сразу девять пилотных проектов, подключив к корпоративному хранилищу девять BI-систем. Затем вместе с бизнес-пользователями отобрали 30 наиболее важных дашбордов и один из них (конкурсный) реализовали с помощью интегратора на всех девяти платформах. Получив отчеты и заполнив чек-листы, в компании оценили результаты, выбрали победителя и приступили к самостоятельному проведению миграции. Сейчас все критичные дашборды находятся в системе Fine BI, а разработку в бизнес-аналитике и по некоторым другим направлениям полностью ведут пользователи.

«Self-service — не хаос, им можно управлять. Без наших бизнес-разработчиков мы не смогли бы перейти на новую BI-платформу всего лишь за месяц, обеспечив собственными силами все потребности бизнеса в данных», — резюмировал Александр Снытко, руководитель службы поддержки и развития инструментов бизнес-аналитики Tele2. По его словам, активные и заинтересованные в корректном описании всех объектов данных бизнес-разработчики становятся адептами культуры data-driven. И убеждать их пользоваться новым инструментом не приходится, поскольку они сами его протестировали и выбрали.

Ударный год «Уралхима»

В «Уралхиме» и раньше продуктивно работали с данными: тут и искусственный интеллект, сортирующий заявки на первой линии поддержки и даже управляющий производственной установкой, и роботы, формирующие справки 2-НДФЛ. А в начале текущего года в компании запустили платформу, которая дает бизнесу возможность работать с данными самостоятельно. Доставка данных на базе гибридной инфраструктуры происходит для бизнеса бесшовно.

Владимир Вавра: «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям»

«Если мы хотим стать data-driven-компанией, а мы такую технологическую цель перед собой поставили, то дальше надо идти совместно с бизнесом, ведь бесконечно расширять штат айтишников — это безумие, — заявил Дмитрий Шведов, заместитель руководителя департамента цифровизации ОХК «Уралхим». — Мы сразу фокусировались на ключевых селф-сервисах, и BI — одно из ведущих направлений».

В компании запустили школу аналитиков данных с защитой проектов, выполненных на платформе, и бизнес с энтузиазмом воспринял эту инициативу. В школе проходят обучение 1200 сотрудников, и эффект внедрения культуры управления данными уже заметен, сообщил Шведов.

Требования бизнеса к инфраструктуре и сервисам работы с данными постоянно меняются, и подстраиваться под них приходится быстро. В этом году в дата-офисе сосредоточились на качестве данных и реализовали два десятка автоматизированных проверок качества по заданной бизнесом методологии. Сравнение затрат времени и ресурсов на выработку одних и тех же решений подтверждает эффективность оптимизации. «Замеры наглядно показывают довольно существенную (от 30 до 90%) экономию ресурсов по нескольким направлениям», — отметил Владимир Вавра, руководитель отдела инфраструктуры данных ОХК «Уралхим».

«Газпром нефть»: бонусы самостоятельности и мини-CDO

Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь, уверен Виталий Когтев, руководитель направления по качеству данных управления по организации работы с данными дирекции экономики и корпоративного планирования «Газпром нефти». В компании уже несколько лет работает школа аналитики, через которую прошли около 200 пользователей. Многие из них являются ответственными за данные и сами настраивают аналитические панели на основе шаблонов для решения своих актуальных задач. А теперь бизнес-пользователи получили инструменты для самостоятельного мониторинга качества данных.

Виталий Когтев: «Анализировать результаты проверок качества данных — это то, что может и должен делать бизнес-пользователь»

Незапланированным бонусом перехода на самообслуживание стала поддержка импортозамещения ПО: поскольку используются несколько инструментов мониторинга качества данных с последующей консолидацией метрик, внедрение нового ПО проходит достаточно плавно, отметил Когтев. Кроме того, самообслуживание в BI стимулировало каталогизацию данных — нудный процесс, которым бизнес обычно не особо хочет заниматься. Но теперь создание наглядных и понятных аналитических панелей стало соревновательным процессом, участники которого стараются максимально качественно описать необходимые элементы данных в каталоге. Не менее ценным стало и развитие новых навыков у сотрудников: аналитики с удовольствием обучились создавать аналитические приложения.

В лаборатории данных блока разведки и добычи «Газпром нефти» тоже совершенствуют self-service BI, улучшают магазин данных и каталог данных, а также укрепляют команду поддержки. Для управления данными в дочерних обществах, в «Газпром нефти» ввели функцию «мини-CDO». А «дочки» в компании немаленькие: например, в Заполярье трудятся около 1800 территориально распределенных сотрудников. «Если компания крупная, обязательно нужны люди на местах, которые выполняют роль CDO: внедряют продукт, общаются с бизнесом на его языке и готовы сразу интерполировать производственные задачи, предлагая подходящие для их решения дата-продукты», — отметил Александр Егоров, руководитель программ по управлению данными компании «Газпромнефть-Заполярье». Чтобы извлекать информацию и передавать ее до дашборда, лаборатория данных использует платформу Qlik Sense. Теперь, согласно дорожной карте импортозамещения, идет переход на Luхms BI. В части self-service BI здесь провели апробацию возможностей нового решения и передали разработчикам список замечаний и предложений для их возможной реализации в следующем году.

Объемы информации, необходимой для принятия решений, непрерывно растут. Но при этом нельзя допустить, чтобы на поиск необходимой пользователю информации уходило много времени. Информационные технологии, используемые в Научно-техническом центре «Газпром нефти» (НТЦ), позволяют создавать новые инструменты анализа и быстро находить нужные данные.

В НТЦ разрабатывают эффективные технологии добычи нефти на основе самых современных научных исследований. Еще одно важное направление деятельности компании, которым занимаются сотрудники Центра управления бурением «ГеоНавигатор» в Санкт-Петербурге — сопровождение высокотехнологичных скважин, расположенных не только в России, но и за рубежом.

В прошлом году здесь реализовали проект «Система когнитивного поиска», который способен поднять на качественно новый уровень работу сотрудников всей компании. О том, что дает компании «умный поиск», рассказал руководитель проекта в Научно-техническом центре «Газпром нефти» Евгений Кирьянов, номинант на премию CDO Award 2019.

- В чем суть задачи, которую решает этот проект?

Для нас, как и для любой наукоемкой компании, крайне важны исследования, связанные с решением повседневных бизнес-задач и преодолением технологических вызовов. Наши сотрудники постоянно нацелены на поиск новых решений, подходов и знаний. Чтобы осилить такие задачи, надо обращаться как к внешнему отраслевому опыту, так и к внутреннему опыту, накопленному сотрудниками компании.

Проанализировав имеющиеся базы данных и источники информации, мы увидели следующее. Во-первых, неизвестно, в какой из множества систем находятся искомые знания и ответы на вопросы. Во-вторых, сотруднику тяжело быстро найти информацию, требующуюся ему немедленно. Когда архивы измеряются сотнями терабайт и включают сотни тысяч документов, пользоваться стандартными локальными инструментами поиска в приложениях затруднительно.

Сначала мы попробовали построить поисковую систему на основе технологии Microsoft Share Point, но очень быстро выяснилось, что даже с ручным управлением, составлением словарей синонимов и настройкой фильтров стандартный поиск не справляется.

Поэтому мы решили создать собственную поисково-аналитическую систему, которая помогла бы сотрудникам максимально быстро находить ответы на свои вопросы и повысила бы эффективность экспертного сопровождения. Первая задача, которую мы перед собой поставили, — создание единой платформы для преодоления разрозненности источников данных, вторая — когнитивность поиска.

- Почему понадобилась именно когнитивная система?

Если документов немного, мы можем использовать поиск на базе совпадения слов, но когда число документов близится к миллиону, система выдает слишком много результатов. При этом в поисковой выдаче нет ранжирования по тому параметру, который важен сотруднику именно сейчас.

Система когнитивного поиска работает по-другому. Она сравнивает не буквы в словах, а смысловые значения слов, предложений и целых текстов, учитывает морфологию слов в запросе, понимает сокращения и специализированные термины. И например, по запросу «легкие фракции нефти» она выдаст результаты со словами «бензин» и «керосин». Даже если мы по-разному пишем одни и те же термины, система очень быстро сама обучается и понимает, что написанное по-русски и по-английски — это одно и то же. Система также работает с функциональными онтологиями, понимает вложенность терминов. В результате обучения нейронных сетей нашими экспертами система понимает из контекста документа, что это вложенные термины с разными написаниями.

Когнитивный поиск позволяет задавать вопросы с уточнениями и получать сфокусированные ответы, а фильтрация — оставлять в поисковой выдаче документы, удовлетворяющие нужным пользователю параметрам. Например, можно выбрать несколько конкретных источников данных или оставить только документы заданного типа.

- Подстраивается ли система под запросы конкретного пользователя? Вы создаете свой внутренний Google?

Сравнивать ее с Google и «Яндексом» я бы не стал, у нашей поисковой системы иные задачи. Мы только развиваем персонализацию и планируем в этом году сделать ее качественной. Дело в том, что наши сотрудники занимаются абсолютно разными вещами. Даже геологи, сидящие в одном отделе, могут решать совершенно разные задачи. Например, одни по стандартной модели рассчитывают запасы, а другие — развивают искусственный интеллект и нейронные сети в геологии. Соответственно, одним система должна выдавать более фундаментальную геологическую информацию, а другим — скорее «айтишную» или на стыке геологии и ИТ. То есть без персонализации работа системы не будет достаточно эффективной.

- Как вы выбирали подход к решению задачи?

Мы познакомились с имеющимися российскими и международными разработками, причем активно изучали опыт не только нефтяных и энергетических компаний, но и интернет-ретейлеров, поскольку в этом бизнесе поиск ощутимо влияет на результат. Затем провели несколько экспериментов, осуществили пилотное внедрение в офисе НТЦ в Санкт-Петербурге и принялись за разработку собственного решения совместно с компанией Nаumen. На реализацию проекта ушло 10 месяцев.

- Какие данные использует система и какова стратегия их сбора?

Объем внутреннего файлового хранилища «Газпром нефти» превышает сотни терабайт. Кроме него в первом прототипе системы мы использовали наборы данных из внешних онлайн-ресурсов, в совокупности около 70 тыс. документов.

В дальнейшем начнем расширять перечень внешних источников — примерно до ста, добавим также ресурсы, которые наши эксперты используют в своей работе.

- Какими технологическими средствами вы решали поставленную задачу?

В основе лежит система ElasticSearch, многое было разработано на языке Scala. Использованы и другие свободно распространяемые программные продукты, а также решения Naumen.

Поиск — это внутреннее клиент-серверное приложение, доступное сотрудникам в виде веб-сайта на корпоративных ПК или удаленно с личных ноутбуков. Сейчас единая поисковая платформа объединяет несколько сайтов, и мы работаем над ее расширением.

- Какие были основные сложности в ходе проекта, как их преодолевали?

Взаимодействие с любыми поисковыми системами выстраивается постепенно, вначале люди не доверяют возможностям технологии. Мы помним это по опыту взаимодействия с «Яндексом» и Google: несколько лет назад мы вбивали в строку запроса лишь одно-два слова, поскольку знали, что если введем предложение, то ничего в ответ не получим. Теперь мы спрашиваем все, что придет в голову, — и именно такое качество мы намерены развивать в своей системе.

Пользователи уже начинают больше доверять корпоративной системе: раньше поисковые запросы были в одно-два слова, сейчас длина запросов растет.

Технические сложности были из-за качества, а также разнородности входных данных (новости, НМД, книги, проекты и т. д.) и их источников (система распространения знаний, внешние ресурсы, сетевые папки). Качество отсканированных документов было очень разным, многие документы были «зашумлены», требовалась очистка, удаление нечитаемых фрагментов и нераспознанного текста.

- В какой срок вы рассчитываете накопить объем запросов, достаточный для интеллектуального роста системы?

У нас нет этой проблемы, потому что нам не требуется такого количества запросов, как у Google. Мы избегаем «холодного» старта, характерного для систем машинного обучения, базирующихся на сборе информации без «учителя». Например, новому геологу, введенному в нашу систему, мы дадим модель, уже обученную для другого сотрудника с наиболее близким функционалом. Мы проводили экспертное обучение, то есть подаваемые в систему материалы уже размечены, проанализированы экспертами и «готовы к употреблению». Поэтому острой нужды в накоплении большого количества данных нет. Тем не менее мы рассчитываем на то, что через год система будет работать гораздо лучше, чем сейчас, потому что она еще и самообучается.

- Каких результатов вам удалось достичь?

По экспертной оценке, сотрудники занимаются поиском информации и каких-либо документов по 30–50 минут в день. Мы сократили это время практически вдвое и надеемся еще улучшить результат. Время сотрудников высвобождается, и это дает компании существенный экономический эффект. Кроме того, благодаря точности и полноте результатов поисковой выдачи повысилась эффективность принятия решений.

И еще один важный итог. Мы провели эксперимент: две группы сотрудников получили задачу по определенному направлению и доступ к системе умного поиска для ее решения. При этом ни в одной из групп не было специалиста по данному направлению. И участники обеих групп решили задачу на таком уровне, который позволил применить их решение в компании. Оказалось, что система может выступать в роли эксперта в тех ситуациях, когда пользователь не знает точно, что ему делать. С помощью «умной системы» он может найти ответы на свои вопросы и решить задачи, с которыми не сталкивался прежде. Найти в Интернете видеоинструкцию и сразу сделать хорошо то, что делаешь впервые, сегодня уже не проблема.

Когнитивная система служит для управления знаниями и их трансфера между подразделениями.

- Как планируется дальше развивать этот проект, помимо персонализации поиска?

Мы уже начали распространять решение на весь холдинг, скоро откроем его всем сотрудникам. Будем расширять возможности подключения к платформе по API других приложений и источников знаний. Намерены развивать инструмент, позволяющий делать аналитику на основе семантики запроса. Хотим сильно продвинуться в создании знаний, которых не существовало до запроса. То есть, анализируя несколько источников, система должна уметь собрать из множества документов один и предоставить его в ответ на запрос пользователя.