Оцифровка клиентского опыта и оценка влияния удовлетворенности клиента на прибыльность – полезный показатель для компаний, однако комплексно подойти к решению этой задачи непросто. В «Сбере» удалось построить модель, показывающую связь между удовлетворенностью клиента и доходом. О подходах к реализации проекта, решении возникавших проблем и первых результатах рассказывает Полина Лямина, лидер команды «Исследование и развитие клиентского опыта клиентов Малого и Микро Бизнеса» и номинант на премию Data Award.
— В чем суть решаемой вами задачи?
Сколько времени существует понятие «клиентский опыт», столько же бизнес задается и вопросом: «Сколько приносит денег качественный сервис?». Ранее мы смотрели только на затраты, которые несем при возникновении жалоб, но в этом случае мы не понимали, сколько приносят довольные клиенты. Целью проекта стал поиск ответа на этот вопрос с помощью моделей машинного обучения.
— Как приступили к решению?
Мы решили разработать методологию, способную показать, как наши действия влияют на чистый операционный доход от клиента. Основной целью проекта стал расчет финансовых потерь от некачественного сервиса.
Для того, чтобы понять, у каких клиентов он действительно был некачественным, нам пришлось решить еще одну задачу – определить уровень удовлетворенности у всех наших клиентов. По части клиентов в банке имеется информация в виде оставленной обратной связи – опросы, жалобы и т.п. Нам предстояло решить вопрос с тем, как быть с остальными клиентами, по которым у нас отсутствует обратная связь. Логичным выходом было бы спросить самих клиентов, но, во-первых, мы не хотели беспокоить клиентов, в том числе нарушать внутреннюю политику частоты контактов, а во-вторых, опросы являются достаточно затратными в части ресурсов.
— В этом случае на помощь тоже приходит машинное обучение?
Да, мы построили модель, которая предсказывает, насколько удовлетворен клиент, исходя из его фактического опыта взаимодействия с банком. Эта модель получила название Smart RTFB (Smart Real Time Feedback).
Расчет модели строился исключительно на объективных показателях, например, таких как длительное ожидание в очереди, сбои при проведении платежей в интернет-банке, отказ по кредиту и т.д. Согласитесь, очень сложно быть довольным сервисом, если происходят подобные случаи. Мы собрали более 250 значимых факторов, которые негативно влияют на клиентский опыт и удовлетворенность в целом.
С помощью исторических данных мы смогли получить степени неудовлетворенности каждым видом произошедших проблем, на основе чего построили предсказательную модель, которая показывает вероятность негативного отношения к банку. Таким образом, мы получили полную картину того, как к нам относятся клиенты.
— А как вы оценили соответствие предсказаний реальному положению дел?
Мы проводили количественные исследования клиентов и задавали им вопросы относительно их удовлетворенности обслуживания в банке. Более 90% ответов клиентов совпали с предсказанием модели.
— Итак, вы узнали степень удовлетворенности клиентов…
После получения оценок удовлетворенности можно было переходить к следующей части – непосредственно расчету финансового эффекта. Для начала мы распределили всех клиентов на группы, их получилось шесть. Основными характеристиками были организационно-правовая форма, длительность работы с банком и уровень доходов.
Далее мы убедились, что в каждой группе у клиентов, у которых нет жалоб и низких оценок, чистый операционный доход (ЧОД) растет. После этого проверили гипотезу о том, что жалоба и низкая оценка являются тем триггером, после которого ЧОД падает. Гипотеза подтвердилась.
Наконец, мы взяли временные ряды ЧОД клиентов с негативом и без него, и сравнили их. Получилась определенная «дельта» между временными рядами. Эта разница и составляет тот недополученный доход, который в случае образования жалобы или негатива имеет банк.
— Что «под капотом»? На какой математике базируется решение?
Нами было разработано два пайплайна для решения задачи: интерпретируемый (для принятия решений) и неинтерпретируемый (для более точного предсказания). В качестве разметки для моделей были использованы данные опросов клиентов об их уровне удовлетворенности. На их основе были обучены алгоритмы машинного обучения, которые пытаются выявить зависимость ответа клиента от его признаков.
В интерпретируемом пайплайне за базовый алгоритм берется модель логистической регрессии. Так как сам алгоритм довольно слабый, для большей прогностической способности используется некоторая технология повышения качества. Она сложная и длинная, но если коротко, то она основана на методе весомости признака (WoE-анализ), анализе статистической обоснованности и достаточности модели и разных алгоритмах отбора признаков. В неинтерпретируемом пайплайне используется ансамбль моделей, а именно «стекинг над бустингами».
— Что в ходе проекта было самым сложным?
У нас была амбиция завершить проект за три квартала, и самое сложное было уместиться в заданные сроки, так как параллельных задач очень много. Но мы справились.
— Какие результаты достигнуты?
По результатам расчетов был сформирован план мероприятий по устранению основных недочетов в работе подразделений, участвующих в процессе обслуживания клиентов и в разработке продуктов для них. Важно, что методология получила высокое одобрение и была положительно принята коллегами. Благодаря этому цифры, полученные в результате расчетов, будут являться основным аргументом при принятии решения о доработках систем и процессов.
— Пытались ли оценить финансовый эффект от новых знаний?
Да, конечно, это была одна из основных целей. Мы смогли рассчитать, сколько денег банк не получил от некачественного сервиса. Сумма получилась значительная и превысила в несколько раз нами ожидаемую.
— Каково значение этого проекта?
Практически все компании, которые так или иначе сталкиваются с клиентским опытом, пытаются его оцифровать. С уверенность могу заявить, что наш подход является инновационным и уникальным. Теперь мы точно можем ответить на вопрос: «Сколько стоит хороший сервис?»
Кроме того, разработанная модель Smart RTFB позволила получить больше знаний о том, как к нам относятся все наши клиенты, без исключения.
— В каком направлении будет развиваться это решение?
На текущий момент прорабатывается встраивание модели в общий контур работы с негативными сценариями (комплексная система компенсаций). Дополнительно мы встроим модель в общую систему замеров удовлетворенности, а в дальнейшем, возможно, откажемся от ряда опросов, которые мы направляем клиентам.
— Дорогу каким новым инициативам это может открыть?
Оцифровка клиентского опыта поможет в дальнейшем качественно приоритезировать все доработки продуктов и сервисов, которые так или иначе связаны с клиентом. Также это поможет выстроить систему проактивного взаимодействия с клиентом до того, как он перейдет в критическое состояние негатива и начнет жаловаться или покинет банк. Таким образом, нововведения созданы, в первую, очередь, для клиента, чтобы он получал услуги и сервисы высокого качества.
