HeadHunter

Одна из насущных проблем в командах, разрабатывающих программные продукты, — борьба за эффективность. Обсуждая эту проблему, часто говорят: «хотим повысить эффективность наших команд» или «ожидаем эффективности от коллег и партнеров». Однако в большинстве случаев разговоры об эффективности — это только желание максимально ускорить поставку готового продукта. Но действительно ли скорость — именно то, что нужно бизнесу в данный момент? Да и могут ли agile-подходы обеспечить требуемую скорость?

«Где-то на полпути гибких методик в Россию появилось мнение, что agile — это про скорость. Но это совсем не так», — считает Павел Капусткин, руководитель проектов компании HeadHunter. Свыше 20 лет он управляет командами разработки и с 2007 года применяет agile-подходы в организации работы различных компаний, помогая разработчикам и заказчикам программного обеспечения достигать желаемых результатов.

В agile-команде разработчик постоянно задействован в различных видах активности, не связанной с написанием кода. Agile облагает его множеством «налогов» в виде встреч, ревизий кода, инженерной и коммуникативной деятельности.

«Agile нужен не для того, чтобы писать код быстрее, а чтобы делать больше полезного. Делать в целом меньше, но лучше», — говорит Капусткин.

Стремление сделать побыстрее зачастую заводит команду в тупик. Продуктовая команда эффективна ровно настолько, насколько она в состоянии поставлять бизнес-ценности. И тут очень важен баланс между показателями «достаточно хорошо, чтобы пользоваться» (good enough) и «время вывода на рынок» (time to market). Эти два параметра имеют смысл только в связке друг с другом, то есть разработчики должны сделать софт в максимально сжатые сроки, не потеряв по дороге общий смысл. «Если мы выдаем по три функции в неделю, c вероятностью 90% ни одна из них не несет реальной ценности», — уверен Капусткин.

Продуктовая команда — это не просто люди, которые пишут, верстают и тестируют код, это совокупность экспертизы, иногда неожиданно глубокой, и использовать ее только для написания программного кода не очень разумно, полагает он. С помощью этой коллективной экспертизы можно продуцировать значительно больше ценности для бизнеса, обогащая продукт. Через культивирование в командах осознанности и продуктовых компетенций можно существенно повысить вовлеченность сотрудников и, как следствие, эффективность.

Каким образом повысить эффективность разработки путем изменения уровня осознанности в команде, Капусткин расскажет на конференции «Agile, DevOps, ITSM — инструменты и опыт реальных проектов цифровой трансформации», которую издательство «Открытые системы» проведет 23 октября 2018 года. Год за годом Капусткин дотошно протоколирует свою работу с командами и систематизирует свои наблюдения. В результате на свет появилась четырехуровневая модель, с которой познакомятся участники конференции.

Четыре шага к эффективности

Каждая agile-команда проходит через четыре этапа развития осознанности, каждый этап характеризуется совершенно разными целями, компетенциями, мотивацией и степенью вовлеченности сотрудников. Причем уровни осознанности слабо коррелируют, а иногда и вовсе не связаны с технической экспертизой команды. Имея примерно одинаковые исходные характеристики, команды, находящиеся на разных этапах развития, показывают совершенно разную эффективность, и уровень их технической подготовки играет второстепенную роль.

Под осознанностью понимается степень адекватности восприятия человеком или группой своего места в системе координат компании и продукта, своей роли и влияния, правильности понимания целей и задач команды, а также корреляции личных целей с целями команды и компании в целом. Самый верхний уровень подразумевает полное понимание и принятие целей компании и полноценное участие команды в трансформации всей компании в целом.

Как понять, на каком этапе команда находится сейчас? Чего от нее можно ожидать, а чего — не стоит? В чем ей можно и нужно помочь на этом пути, а в чем лучше не мешать? Об этом участники конференции узнают из доклада Капусткина «Эффективная разработка без магии и ГМО». От участников конференции докладчик, в свою очередь, рассчитывает получить обратную связь в виде вопросов и критики, которые позволят ему дальше развивать свой подход.

Диапазон применимости

Даже те компании, где давно практикуют гибкие подходы, сильно различаются по организационной структуре и культуре, уровню зрелости менеджмента, пониманию agile и возможностей его использования в бизнесе, а также по уровню имплементации.

«В большинстве организаций agile начинается на уровне команд разработки и там же заканчивается», — говорит Капусткин. Уже на уровне департаментов царит классический менеджмент с его бюджетами, планированием, диаграммами Ганта и совершенно негибкой структурой.

На верхнем уровне управления эффективность оценивают, как правило, по выполнению финансовых показателей. Но где-то умеют сопоставлять результаты работы продуктовых команд с финансовыми показателями, а где-то царит метод «палец-пол-потолок». Cистемный подход и подход «цели и ключевые результаты» (objectives & key results, OKR) в качестве альтернативы классическим KPI на практике встречается нечасто.

В редких случаях agile-практики получается применить на стратегическом уровне. Но при любом организационном ландшафте на уровне команд разработки можно договориться о подходах к оценке эффективности.

Спектр способов, использующихся для оценки эффективности разработки, может быть широк даже в границах одной компании. Там, где есть множество команд разработки с разными задачами, могут сосуществовать три-четыре подхода к оценке их эффективности.

Максимально эффективно подход, нацеленный на повышение осознанности, работает при создании не слишком больших продуктов, которые делаются двумя, максимум тремя командами. Чем больше число команд, тем сложнее перенести на них данную модель, поскольку добиться понимания продукта у ста человек и зажечь их одной целью гораздо сложнее, чем у двух десятков.

Кроме того, для cервисных команд и заказной разработки фокусы могут различаться достаточно сильно. В обслуживании внутренних заказчиков важны концентрация на SLA и качестве сервиса, умение быстро прорабатывать мелкие задачи и улучшать систему, избегая при этом революционных изменений.

Математические модели сегодня помогают рекрутерам и заменяют их, а в перспективе будут работать лучше людей.

В чем прелесть цифрового бизнеса? Создаваемые в компании инструменты работы с данными можно использовать для оптимизации внутренних процессов, для совершенствования продуктов и улучшения взаимодействия с заказчиками, а также предоставлять клиентам в виде сервисов.

Рекрутмент – благодатная сфера такого комплексного применения цифрового инструментария. О том, как машинное обучение помогает решать простые, но крайне трудоемкие задачи рекрутинга, директор по развитию компании HeadHunter Борис Вольфсон рассказал на VI Российском форуме Big Data 2017, организованном издательством «Открытые системы». По его словам, математические модели сегодня помогают рекрутерам и заменяют их, а в перспективе будут работать лучше людей.

Опыт рекрутеров может также пригодиться в других отраслях специалистам, отвечающим за цифровизацию бизнеса и работу с данными.

Технология, сберегающая время

Первая задача, которую в HeadHunter решили с помощью технологий машинного обучения, – ранжирование откликов на опубликованные вакансии. Чтобы понять, кого приглашать на интервью, HR-специалисты тратят очень много времени, оно уходит в основном на разбор резюме и составление списка для собеседования. Особенно обильно поступают нерелевантные отклики на самые привлекательные вакансии с высокой зарплатой. На следующий этап отбора HR таких соискателей не пропускает, но их отсев обходится рекрутинговой компании в несколько сотен миллионов рублей в год.

Оценивая резюме на этом этапе, рекрутер обычно обращает внимание всего на пять-десять основных критериев. Однако, когда список критериев определяется экспертами и базируется на их опыте, а не на данных, всегда есть риск упустить что-то важное. Например, известны случаи, когда самыми хорошими работниками оказываются бывшие заключенные. Кроме того, при отборе по формальным признакам отсекаются вакансии с зарплатой в 99 тыс. руб., если соискатель установил планку от 100 тыс. руб.

В системе машинного обучения для оценки резюме используются сотни критериев. При этом список критериев составляется программой, которой исследователь данных (data scientist) дает задание посмотреть, например, насколько значима для человека разница между зарплатными ожиданиями и зарплатной вилкой в вакансии либо насколько точно текст резюме должен соответствовать тексту вакансии.

Для обучения системы в компании использовали выборку, насчитывающую около 200 млн соискателей и вакансий. На основе уже имеющихся данных о том, каких кандидатов в итоге пригласили на собеседование, система машинного обучения строит «лес» из сотен тысяч «деревьев» решений и с минимальной погрешностью вычисляет среднюю оценку кандидата. Для этого используется градиентный бустинг (gradient boosting) – простой стандартный подход, позволяющий за несколько недель сделать модель, работающую в промышленном масштабе. Полученные модели «весят» около 100 Гбайт, так что, строго говоря, эту работу нельзя назвать анализом Больших Данных, отметил Вольфсон, но при этом данные для рекрутмента требуют быстрой обработки и выдачи результатов в режиме онлайн или близком к нему.

Для HR-специалиста система выглядит как кнопка сортировки кандидатов в его рабочем интерфейсе, с ее помощью поднимаются вверх те соискатели, которые с большей вероятностью будут приглашены на собеседование. Эта функция весьма ощутимо экономит время кадровиков. Возможно, подобный инструмент будет полезен и в ИТ-инфрастуктуре кадровых служб крупных предприятий.

Машинным обучением и поиском в HeadHunter занимается команда из десяти человек. Технологически в компании предпочитают опираться на решения open source, используя Linux-системы c веб-интерфейсом и базы данных PostgreSQL. Бэк-офисные системы написаны на языке Java, а функционал фронт-энд-систем – на Python. В качестве основы машинного обучения применяется набор библиотек Boost.

Прескрининг и модерация: вкалывают роботы

Вторая проблема, с которой помогает справиться система машинного обучения, – плохо или не полностью заполненные резюме соискателей. Качество заполнения резюме нужно контролировать на самом верху «воронки» подбора, поэтому все резюме на сайте HeadHunter проходят ручную модерацию – проверку на соответствие определенным критериям. С каждым годом количество резюме растет (сейчас их около 25 млн), соответственно, растут и затраты на каналы связи, серверы и модераторов. Можно ли здесь сэкономить? Можно, если использовать машинное обучение и заменить оператора на систему, которая сможет оценить качество резюме.

Чтобы научить систему подтверждать наиболее качественно заполненные резюме, использовалась выборка, включающая почти 40 млн отмодерированных резюме, в том числе отклоненных. Теперь система способна повторять действия модераторов на основании полей в резюме. Например, проверять соответствие должности, на которую претендует кандидат, профессиональным областям, указанным в его резюме. «Чтобы качество базы не упало с запуском сервиса, мы выбрали пороговые уровни полноты и точности контроля, которые соответствуют действиям человека», – сообщил Вольфсон.

Робот-модератор проверяет все новые резюме, и если он их относит к самым качественным, то они подтверждаются автоматически. Операторам направляются лишь резюме, оставшиеся неподтвержденными. Как утверждает Вольфсон, качество модерации, выполненной роботом, неотличимо от качества той, что выполнена человеком, а потому в результате внедрения этого сервиса несколько операторов, занимавшихся этой работой, освободились.

Машина ищет работу

Борис Вольфсон, директор по развитию HeadHunter: «Использование машинного обучения дает хороший эффект в рекрутинге: целевые метрики вырастают в среднем на десятки процентов»

Еще один вариант применения машинного обучения в HeadHunter связан с нуждами тех, кто ищет работу. «Стратегически мы стараемся балансировать интересы соискателя и работодателя», – отметил Вольфсон.

Вакансии, которые могут заинтересовать соискателя, традиционно подбираются с помощью фильтров по параметрам резюме: зарплата, профессиональная область, регион и т. д. В HeadHunter эту функцию выполняет рекомендательный сервис на основе машинного обучения. Имеющиеся в базе 350 тыс. открытых вакансий проходят три стадии обработки: два фильтра и ранжирующую модель.

Базовый эвристический фильтр, составленный вручную, нацелен на максимальное сокращение выборки по двум параметрам – региону и профессиональной области, при этом сохраняется большая доля интересных вакансий. Следом в дело вступает система машинного обучения. Быстрая фильтрующая модель отсекает большую часть совсем неподходящих вакансий, используя небольшое число признаков. И наконец, сложная ранжирующая модель, обученная на полном наборе признаков (всего их около 200), сортирует вакансии в полученном после фильтрации списке, выводя наверх самые подходящие для человека. Отобранные вакансии показываются соискателю на главной странице, на странице с рекомендуемыми вакансиями в списке резюме или в рассылках с подходящими вакансиями.

По словам Вольфсона, новая система подбора вакансий по резюме на основе машинного обучения на десятки процентов улучшила основной показатель результативности подбора – долю успешных поисковых сессий у пользователей этого функционала.

На горизонте – «умный» поиск

Использование машинного обучения дает хороший эффект в рекрутинге, резюмировал Вольфсон, целевые метрики вырастают в среднем на десятки процентов, а отдельные текущие задачи дают порядка тысячи дополнительных откликов в неделю. По его мнению, в ближайшем будущем благодаря экономии времени рекрутеров эффективность подбора персонала повысится, а скорость поиска работы для соискателей увеличится.

«Мы все периодически выходим на рынок труда, и этот нервный и не очень приятный период – время поиска работы – должен сильно сократиться», – полагает Вольфсон. Через два-три года, по прогнозам HeadHunter, подбирать сотрудников и искать работу будут сложные ансамбли систем машинного обучения, а участие человека в этих процессах будет уменьшаться. Оценка персонала тоже будет основываться на данных.

Впрочем, место для людей обязательно останется – для стратегических решений и оптимизации процессов, но в целом требования к рекрутерам возрастут. «Точно не останется места для тех, кто не умеет работать с такими системами, не понимает и не умеет использовать предсказания, которые дают эффективные модели», – подчеркнул Вольфсон. Для соискателей, напротив, требования к написанию длинных обстоятельных резюме снизятся, умные системы будут решать за них часть вопросов.

Научившись ранжировать отклики, модерировать резюме и строить рекомендательные системы, HeadHunter готовится перейти к следующему этапу – к «умному» поиску на основе машинного обучения и созданию «своего маленького “Яндекса”». «Мы хотим, чтобы наш поиск тоже использовал машинное обучение, и в ближайшее время планируем запустить несколько проектов, ориентированных на эту задачу, – сообщил Вольфсон. – Это наша ключевая компетенция, ее нельзя отдавать на аутсорсинг».

В компании планируют также поэкспериментировать с обогащением данных, используемых для машинного обучения, с помощью открытых профилей в соцсетях, хотя таких профилей, по словам Вольфсона, очень мало.

По схожему пути сегодня идут и в банках, и в страховых компаниях, и в других отраслях. Можно ожидать, что в скором времени появится много новых интересных работающих вариантов применения машинного обучения.