В 2020-2022 годах Счетная палата Российской Федерации реализовала важный стратегический проект — комплексную программу подготовки специалистов (КППС) по управлению данными для высшего органа внешнего государственного аудита. Сотрудники Счетной палаты прошли обучение современным техническим инструментам дата-аналитики и получили практический опыт их использования. Программа позволила значительно повысить производительность труда инспекторов и выйти на новый качественный уровень представления результатов аудиторской работы. Для реальных задач Счетной палаты сотрудники ведомства за три года разработали более 130 решений, основанных на аналитике данных. О том, как удалось этого добиться, рассказал Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации и номинант на премию Data Award 2023.
— В чем заключались проблемы, какие задачи требовалось решить с помощью программы подготовки?
Проблемы типичны для многих госструктур: отсутствие опыта аналитической работы у имеющихся сотрудников, низкий уровень технологической подготовки, в том числе работы с инструментами аналитики, понимания управления данными и т.п. В то же время наша новая система компетенций требует всего этого, а на рынке отсутствуют программы обучения, нацеленные на подготовку необходимого уровня специалистов. Кроме того, нам нужна не теория, а практика — именно на реальных примерах из жизни специалисты такого рода как наши учатся лучше всего.
— Как появилась эта программа, какова история ее создания?
Программа была разработана и реализована нами в 2020-2022 годах, а ее целью является обеспечение реализации стратегии развития Счетной палаты в 2018-2024 годах. В частности, наша стратегия предусматривает не только цифровую трансформацию процессов операционной деятельности, но и развитие собственных аналитических компетенций и инструментария, основанных на современных подходах к моделированию, развитие дистанционных методов аудита, а также аналитических разработок и прикладных методов для обеспечения функции государственного аудита. Фактически КППС стала одним из важнейших инструментов решения задач стратегии. Ее предназначение – обеспечить наших сотрудников техническими знаниями и навыками, которые необходимы им для совершенствования государственного аудита, с акцентом на самостоятельную подготовку и обработку больших объемов информации и данных.
Утвержденная в 2021 году Модель компетенций описывает требования к знаниям и умениям применительно к ролям в процессах Счетной палаты. Ее особенностью и приоритетом стали специальные профессиональные компетенции, свойственные определенным профессиональным ролям, и универсальные цифровые компетенции, которые могут распространяться на всех сотрудников Счетной палаты.
С учетом специфики работы с аналитическими инструментами, а также процессами внедряемой системы управления данными, нами было выделено несколько ключевых ролей сотрудников: инспектор-«дата-стюард», инспектор-«дата-аналитик», дата-инженер и инспектор, обладающий универсальными цифровыми компетенциями. Для каждой из этих ролей в модель компетенций были включены соответствующие профили по трем уровням: начальный, средний, продвинутый. И конечно, сотрудников нужно обучать в соответствии с ними.
— Приведите пример таких профилей.
Например, рассмотрим роль дата-стюарда. На базовом уровне он должен понимать простые структуры и типы данных, обладать теоретическими знаниями о возможностях использования инструментов и принципах функционирования системы управления данными Счетной палаты, уметь работать с ГИС и иметь представление о базовых принципах управления данными. На высоком уровне всё гораздо серьезнее. Такой сотрудник обладает базовыми знаниями SQL, умеет работать с СУБД PostgreSQL, обладает навыками работы в PolyAnalyst, умеет разрабатывать правила надежности и качества данных. Он способен сформулировать рекомендации по составу и порядку формирования данных при создании и модернизации ГИС, умеет формировать задание на загрузку данных дата-инженеру из любого источника данных, имеет углубленные знания в области работы с данными, подтвержденные дипломами.
— Каковы вообще потребности Счетной палаты в экспертах по управлению данными и работе с ними? Должен ли в итоге каждый инспектор стать кем-то из дата-специалистов?
Конечно же, далеко не каждый инспектор должен стать продвинутым специалистом по управлению данными. На один профильный аудиторский департамент, которых у нас 15, из 40-50 человек вполне хватит двух-трех дата-стюардов – специалистов, отвечающих за предметное изучение данных и постановку задач на их «интеграцию»: определение и описание необходимых источников, дата-сетов и т.п. Остальные же инспекторы вполне могут обладать только базовым пониманием того, как устроены базы данных и информационные системы на уровне квалифицированных пользователей.
— Почему пришлось создавать собственную программу обучения?
Каждый из разработанных профилей ролей требовал подбора адекватных программ обучения. Выяснилось, что на образовательном рынке отсутствовали, да и до сих пор отсутствуют предложения по подготовке специалистов по работе с данными, набор компетенций которых соответствовал бы нашим специфическим требованиям. А «затачивать» под нас программу обучения никто из поставщиков не был готов.
Поэтому было принято решение разработать и реализовать КППС – собственную комплексную программу по подготовке специалистов по управлению данными для высшего органа внешнего государственного аудита. Ее преподавателями стали как сотрудники нашего Департамента цифровой трансформации, так и подведомственного Центра экспертно-аналитических и информационных технологий Счетной палаты Российской Федерации (ФКУ «ЦЭАИТ СП»).
— Какие направления охвачены программой?
Программа включает три постоянно действующих курса обучения для разных аудиторий. Это курс для инспекторов-«дата-аналитиков» — «Практика цифровой трансформации», курс для инспекторов-«дата-стюардов» — «Образовательный трек по работе с данными», и курс для инспекторов – «Работа с аналитическим инструментом PolyAnalyst». Занятия по каждому из курсов проводились дважды в неделю и представляли собой как традиционные лекции, так и практические работы на основе актуальных кейсов из практики инспекторов Счетной палаты. Практическому применению полученных знаний уделялось повышенное внимание: на решение кейсов по внешнему государственному аудиту в программах курсов отводилось до половины учебного времени.
По итогам обучения мы получили еще и набор электронных материалов, по которым новые сотрудники смогут самостоятельно пройти подготовку в полном объеме. Записи лекций и материалы для самостоятельного изучения выкладываются в нашей системе управления развитием персонала и системе управления знаниями.
— Расскажите немного про каждый из курсов. Например, что изучают дата-аналитики?
На этом курсе инспекторы, ориентированные на мероприятия по стратегическому и комплексному аудиту, осваивают методы и инструменты аудита, основанного на больших данных. Курс был разделен на несколько уровней (начальный, средний, продвинутый и расширенный) исходя из решаемых задач, сложности обрабатываемых данных и применяемых инструментов.
На начальном уровне инспекторы изучали возможности BI применительно к структурированным данным – агрегирование и визуализация первичных данных из государственных информационных систем. В результате они научились строить и использовать в отчетах несложную инфографику: дашборды, графики, диаграммы и т.п. На среднем уровне уже охватываются методы обработки текстовых данных из первичных документов – извлечение с помощью лингвистических правил и словарей сущностей и концептов из договоров, платежных поручений, актов, протоколов, доверенностей и др.
На продвинутом уровне сотрудники познакомились с программной библиотекой pandas на языке Python, которую называют «Excel XXI века». По итогу этих уровней слушатели умеют проводить несложную текстовую аналитику по большим массивам документов. На расширенном уровне осваиваются новейшие методы искусственного интеллекта – модели-трансформеры и трансферное обучение в обработке естественного языка.
По итогам обучения на всех уровнях инспекторы готовили индивидуальные и групповые учебные проекты, непосредственно связанные с их рабочими задачами. Результаты многих проектов вошли в отчеты Счетной палаты о проведенных контрольных и экспертно-аналитических мероприятиях. Например, группой из трех инспекторов была обучена нейронная сеть-трансформер на нормативно-правовых актах и применена в ходе антикоррупционной экспертизы планов федеральных органов исполнительной власти. Новый подход существенно снизил сроки проведения экспертно-аналитического мероприятия – с 90 до трех дней.
— Если говорить о следующем курсе, то роль дата-стюардов пока еще является экзотикой.
Действительно, внедрение роли дата-стюардов в деятельность Счетной палаты стало уникальным опытом в организации работы с данными в деятельности государственных органов аудита, да и остальных государственных органов. Наши дата-стюарды – сотрудники направлений аудита, ответственные за поиск, сбор, обработку и использование данных. Они определяют источники получения данных и необходимость доступа к ним, необходимые виды данных, содержащиеся в источниках данных. Они же формируют в системе управления данными паспорта объектов данных, карты данных и требования к загрузке исходных данных, требования к витринам данных, определяют периодичность сбора, загрузки и обработки обновлений исходных данных.
Образовательный трек для дата-стюардов разработан на период 2021-2022 годы в соответствии с профилем роли. Курс разделен на триместры, занятия проходят еженедельно. Его особенность – последовательное погружение инспекторов в разные области знаний, связанных с управлением данными.
Дата-стюарды овладели знаниями по поиску, сбору, систематизации данных из различных источников, научились поддерживать наборы данных в актуальном состоянии. Спецификой курса является также система получения практических навыков: выполняя домашние задания в рамках курса, дата-стюарды постепенно наполняют наше озеро данных «живыми» кросс-функциональными наборами данных, а систему управления данными – описанием востребованных в проверках источников данных и наборов данных.
— Вероятно, третий курс – «Работа с аналитическим инструментом PolyAnalyst» – самый «легкий» с точки зрения длительности обучения.
Потребность в таком курсе возникла в связи с высокой загрузкой инспекторского состава, а также сложностью с привлечением на работу в госорган дорогостоящих технических специалистов и дата-сайентистов. Сотрудники, задействованные в проверках, не располагают временем на продолжительную учебу и программирование, да и набор аналитических задач для таких проверок – в целом типичный. Требуются инструменты, позволяющие решать текущие задачи по обработке больших наборов данных «здесь и сейчас». Поэтому нами была выбрана стратегия использования low-code/no-code инструментария, позволяющего решать большинство аналитических задач без программирования, тем самым снижая «порог входа» в аналитику данных для обычных сотрудников, не имеющих специализированной технической подготовки. Некоторые инструменты осваиваются инспекторами самостоятельно по специально разработанным руководствам по работе с ними. Но для наиболее сложного из таких инструментов – аналитической платформы PolyAnalyst – был разработан специальный курс.
Эта платформа принята у нас в качестве базового универсального инструмента для анализа всех видов данных и визуализации результатов работы с данными, поэтому навыки работы с ней необходимы и инспекторам из направлений аудита, и дата-стюардам, и другим сотрудникам. В рамках программы подготовки был разработан специальный курс обучения PolyAnalyst для всех заинтересованных специалистов, включающий три уровня: начальный, средний и продвинутый. Он позволяет приобрести такие навыки, как импорт данных и операции с данными, основы анализа и классификации данных, регрессионный анализ и кластеризация, основы обработки текстовых данных. Кроме того, изучается язык поисковых запросов Pattern Definition Language (PDL), классификация и кластеризация текстов, таксономия, а также язык, предназначенный для описания определений и реализаций процессов eXtended Pattern Definition Language (xPDL).
Так, выпускники начального уровня приобретали навыки по объединению в PolyAnalyst данных из нескольких источников, агрегированию и визуализации данных. На среднем уровне слушатели осваивали более сложную аналитику, — в частности, статистический и текстовый анализ. На продвинутом уровне сотрудники Счетной палаты получили профессиональную специализацию «лингвист-аналитик», изучив углубленные и сложные правила xPDL и PDL для обработки аудиторских документов.
— С какими источниками данных и инструментами (кроме PolyAnalyst) приходится иметь дело специалистам Счетной палаты?
Источников данных очень много. Исходя из специфики нашей работы, главным образом, это различные ГИС – системы в сфере управления общественными финансами, системы типовой деятельности федеральных органов исполнительной власти, системы документарной деятельности, системы в сфере управления материальными и нематериальными активами.
Помимо платформы PolyAnalyst, используем инструменты BI и data science из числа свободного программного обеспечения – Metabase, Python и дополнительные библиотеки по работе с данными, RStudio, JupyterLab, LabelStudio, streamlit, а также инструменты анализа баз данных pgAdmin, DBeaver, Arenadata DB, Arenadata Hadoop.
— Как и по каким критериям осуществляется отбор инспекторов для обучения? Как мотивируете повышать квалификацию?
Мы не ставим барьеров. На «начальный» уровень подготовки может прийти любой желающий. На следующие уровни также могут приходить все желающие, но там уже чисто объективно не все могут с ними справиться. Условно можно сказать, что происходит «естественный отбор» –например, на самом высоком четвертом уровне необходимы знания математики, достаточные для понимания того, как работают нейронные сети, а это не каждому под силу. Но, как я говорил раньше, далеко не всем инспекторам необходим максимальный уровень, – наверное, таких лишь 5% от всей численности.
Специальной мотивации для повышения квалификации нет: как показывает практика, этого и не нужно. Сотрудники и сами прекрасно понимают, что данное обучение повышает их ценность как специалиста, дает уверенность в будущем, что в наше время очень важно. Ну а того, кто этого не понимает, мотивировать бесполезно и бессмысленно.
— Скольких специалистов удалось подготовить?
Курс «Практика цифровой трансформации» прошли 370 специалистов, это 65% сотрудников аудита. 85 из них обучены по расширенному курсу. Систему PolyAnalyst изучили 210 сотрудников. В рамках образовательного трека для дата-стюардов обучено 60 дата-стюардов и 10 инспекторов.
— Какие достигнуты результаты? Что из этого вы считаете наиболее важным?
По итогам реализации КППС в Счетной палате в четыре раза выросло количество аналитических решений с использованием новых методов и инструментов анализа данных. Если в 2020 году их было 16, а в 2021 году – 31, то в 2022 году их число достигло 80. Кроме того, значительно увеличилась – до 70% – доля самостоятельных решений, созданных инспекторами аудиторских направлений без менторской поддержки Департамента цифровой трансформации. При этом по 11 цифровым решениям достигнута их повторяемость и масштабируемость в различных бюджетных циклах и аудиторских направлениях. Появились и первые решения с использованием методов искусственного интеллекта.
Например, в ходе проверки выплат адвокатам по назначению инспектор разработал лингвистическое правило, позволившее извлечь информацию из поля «Назначение платежа» в платежном поручении. После обработки почти 1 млн платежных поручений были обнаружены транши 424 адвокатам с признаками нарушений на общую сумму 20,7 млн руб. Увеличилось количество объектов контроля в 10 раз, а сам процесс анализа первичных документов по выплатам адвокатам сократился по времени в 7 раз.
В 2021 году Счетная палата выиграла конкурс на проведение внешнего аудита Организации Объединенных Наций по промышленному развитию (ЮНИДО). В ходе этой проверки слушатели программы обучения применили свои знания на практике, проведя анализ Journal Entry Testing для выявления мошенничества с финансовой отчетностью. С его помощью удалось отобрать аномальные бухгалтерские транзакции в зоне повышенного аудиторского риска.
Образовательный контент, созданный и апробированный в ходе реализации КППС, начал использоваться в международных образовательных программах – в Университете высших органов аудита при сообществе ИНТОСАИ.
Важно, что для подготовки аналитических решений инспекторы и дата-стюарды самостоятельно находят в Системе управления данными и описывают нужные для работы данные, формируют структуры кросс-функциональных витрин данных и ставят задачи на их загрузку данных в озеро данных.
— Какие наиболее масштабные цифровые решения удалось построить?
В общей сложности нашим сотрудникам удалось реализовать более 120 кейсов по анализу данных.
Ярким проектом стал автоматизированный анализ статистической отчетности ФНС России. В его рамках сотрудниками департамента аудита доходов организовано автоматическое извлечение показателей статистической отчетности ФНС и построение временного ряда за пять лет. Более 2 тыс. показателей сведены в единую аналитическую таблицу, в том числе при помощи лингвистического анализа. Это позволило примерно в 10 раз снизить трудозатраты на проведение анализа статистической отчетности ФНС.
Еще один пример – мониторинг федерального недвижимого имущества. Новые знания и умения позволили сотрудникам реализовать геопространственную и визуальную аналитику объектов федерального недвижимого имущества, арендованного и сданного в аренду, по уровню арендной ставки. В результате, в частности, были выявлены существенные аномалии в распределении уровня арендной ставки.
Наконец, стоит отметить разработку цифрового решения «Государственный долг субъектов Российской Федерации». Используя навыки работы с PolyAnalyst, сотрудники департамента аудита финансовых рынков и государственного долга создали интерактивный инструмент мониторинга и анализа данных о госдолге регионов. Он включает в себя виджеты с табличным и графическим представлением аналитической информации об объеме, структуре и динамике совокупного государственного долга субъектов РФ и муниципальных образований, об объеме и структуре долговых обязательств регионов.
— В чем роль запущенного образовательного проекта для Счетной палаты?
Для нас было крайне важно внедрить практику непрерывного обучения и профессионального развития сотрудников в соответствии с принятыми моделями и профилями компетенций. Этот результат является основой для системной реализации ключевых направлений развития Счетной палаты и достижения стратегической цели по повышению качества государственного управления.
Еще раз подчеркну, что введение роли дата-стюардов, а также формирование модели компетенций и программ обучения инспекторов и дата-стюардов является уникальным опытом в организации работы с данными в деятельности не только государственных органов аудита, но и остальных государственных органов в России.
Наличие у сотрудников Счетной палаты знаний и умений, приобретенных в ходе реализации КППС, позволило значительно повысить производительность и качество их труда. Повысились компетенции инспекторов аудиторских направлений по сбору и анализу данных, по оценке государственных программ и политик, развитию доказательных методов аудита. Расширилось применение новейших методов и инструментов анализа данных, что улучшило качество и актуальность рекомендаций по результатам аудита, минимизировало время сбора аудиторских доказательств, довело на некоторых мероприятиях количество проверяемых объектов до 100%.
— Пытаетесь ли оценить финансовую эффективность работы программ обучения?
Конечно. В нашем случае напрямую в деньгах эффект оценить вряд ли получится, но о том, что подготовленные инспекторы экономят огромное количество времени за счет применения нового аналитического инструментария, говорить можно — и речь идет о тысячах человеко-часов за год. Эффект заключается также, например, в том, что вместо десятков документов или транзакций сотрудник может анализировать тысячи и десятки тысяч, или находить какие-то закономерности, аномалии, которые невооруженным взглядом выявить невозможно. Также инспектор может вывести результаты в виде наглядной инфографики, необходимой для подготовки качественных выводов по итогам работы. То есть можно говорить о принципиально другом качестве результата, который сложно оценить в деньгах.
— Есть ли планы развития программы – например, охват каких-то других направлений подготовки?
Реализация основных запланированных этапов программы завершается, дальше мы будем говорить о ее «тюнинге» — большей ориентации на следующих этапах на решение каких-то частных вопросов применения инструментов и технологий, возникающих уже по итогам практического применения уже освоенного материала.
