Вестник цифровой трансформации

«Сбер»: сколько денег приносит качественный сервис?
«Сбер»: сколько денег приносит качественный сервис?

Полина Лямина: «Важно, что методология получила высокое одобрение и была положительно принята коллегами. Благодаря этому цифры, полученные в результате расчетов, будут являться основным аргументом при принятии решения о доработках систем и процессов»


11:05 13.03.2023 (обновлено: 10:38 15.03.2023)  |  Николай Смирнов | 2230 просмотров



Полина Лямина, лидер команды «Исследование и развитие клиентского опыта клиентов Малого и Микро Бизнеса» «Сбера», – о построении модели, показывающую связь между удовлетворенностью клиента и их доходностью.

Оцифровка клиентского опыта и оценка влияния удовлетворенности клиента на прибыльность – полезный показатель для компаний, однако комплексно подойти к решению этой задачи непросто. В «Сбере» удалось построить модель, показывающую связь между удовлетворенностью клиента и доходом. О подходах к реализации проекта, решении возникавших проблем и первых результатах рассказывает Полина Лямина, лидер команды «Исследование и развитие клиентского опыта клиентов Малого и Микро Бизнеса» и номинант на премию Data Award.

— В чем суть решаемой вами задачи?

Сколько времени существует понятие «клиентский опыт», столько же бизнес задается и вопросом: «Сколько приносит денег качественный сервис?». Ранее мы смотрели только на затраты, которые несем при возникновении жалоб, но в этом случае мы не понимали, сколько приносят довольные клиенты. Целью проекта стал поиск ответа на этот вопрос с помощью моделей машинного обучения.

— Как приступили к решению?

Мы решили разработать методологию, способную показать, как наши действия влияют на чистый операционный доход от клиента. Основной целью проекта стал расчет финансовых потерь от некачественного сервиса.

Для того, чтобы понять, у каких клиентов он действительно был некачественным, нам пришлось решить еще одну задачу – определить уровень удовлетворенности у всех наших клиентов. По части клиентов в банке имеется информация в виде оставленной обратной связи – опросы, жалобы и т.п. Нам предстояло решить вопрос с тем, как быть с остальными клиентами, по которым у нас отсутствует обратная связь. Логичным выходом было бы спросить самих клиентов, но, во-первых, мы не хотели беспокоить клиентов, в том числе нарушать внутреннюю политику частоты контактов, а во-вторых, опросы являются достаточно затратными в части ресурсов.

— В этом случае на помощь тоже приходит машинное обучение?

Да, мы построили модель, которая предсказывает, насколько удовлетворен клиент, исходя из его фактического опыта взаимодействия с банком. Эта модель получила название Smart RTFB (Smart Real Time Feedback).

Расчет модели строился исключительно на объективных показателях, например, таких как длительное ожидание в очереди, сбои при проведении платежей в интернет-банке, отказ по кредиту и т.д. Согласитесь, очень сложно быть довольным сервисом, если происходят подобные случаи. Мы собрали более 250 значимых факторов, которые негативно влияют на клиентский опыт и удовлетворенность в целом.

С помощью исторических данных мы смогли получить степени неудовлетворенности каждым видом произошедших проблем, на основе чего построили предсказательную модель, которая показывает вероятность негативного отношения к банку. Таким образом, мы получили полную картину того, как к нам относятся клиенты.

— А как вы оценили соответствие предсказаний реальному положению дел?

Мы проводили количественные исследования клиентов и задавали им вопросы относительно их удовлетворенности обслуживания в банке. Более 90% ответов клиентов совпали с предсказанием модели.

— Итак, вы узнали степень удовлетворенности клиентов…

После получения оценок удовлетворенности можно было переходить к следующей части – непосредственно расчету финансового эффекта. Для начала мы распределили всех клиентов на группы, их получилось шесть. Основными характеристиками были организационно-правовая форма, длительность работы с банком и уровень доходов.

Далее мы убедились, что в каждой группе у клиентов, у которых нет жалоб и низких оценок, чистый операционный доход (ЧОД) растет. После этого проверили гипотезу о том, что жалоба и низкая оценка являются тем триггером, после которого ЧОД падает. Гипотеза подтвердилась.

Наконец, мы взяли временные ряды ЧОД клиентов с негативом и без него, и сравнили их. Получилась определенная «дельта» между временными рядами. Эта разница и составляет тот недополученный доход, который в случае образования жалобы или негатива имеет банк.

— Что «под капотом»? На какой математике базируется решение?

Нами было разработано два пайплайна для решения задачи: интерпретируемый (для принятия решений) и неинтерпретируемый (для более точного предсказания). В качестве разметки для моделей были использованы данные опросов клиентов об их уровне удовлетворенности. На их основе были обучены алгоритмы машинного обучения, которые пытаются выявить зависимость ответа клиента от его признаков.

В интерпретируемом пайплайне за базовый алгоритм берется модель логистической регрессии. Так как сам алгоритм довольно слабый, для большей прогностической способности используется некоторая технология повышения качества. Она сложная и длинная, но если коротко, то она основана на методе весомости признака (WoE-анализ), анализе статистической обоснованности и достаточности модели и разных алгоритмах отбора признаков. В неинтерпретируемом пайплайне используется ансамбль моделей, а именно «стекинг над бустингами».

— Что в ходе проекта было самым сложным?

У нас была амбиция завершить проект за три квартала, и самое сложное было уместиться в заданные сроки, так как параллельных задач очень много. Но мы справились.

— Какие результаты достигнуты?

По результатам расчетов был сформирован план мероприятий по устранению основных недочетов в работе подразделений, участвующих в процессе обслуживания клиентов и в разработке продуктов для них. Важно, что методология получила высокое одобрение и была положительно принята коллегами. Благодаря этому цифры, полученные в результате расчетов, будут являться основным аргументом при принятии решения о доработках систем и процессов.

— Пытались ли оценить финансовый эффект от новых знаний?

Да, конечно, это была одна из основных целей. Мы смогли рассчитать, сколько денег банк не получил от некачественного сервиса. Сумма получилась значительная и превысила в несколько раз нами ожидаемую.

— Каково значение этого проекта?

Практически все компании, которые так или иначе сталкиваются с клиентским опытом, пытаются его оцифровать. С уверенность могу заявить, что наш подход является инновационным и уникальным. Теперь мы точно можем ответить на вопрос: «Сколько стоит хороший сервис?»

Кроме того, разработанная модель Smart RTFB позволила получить больше знаний о том, как к нам относятся все наши клиенты, без исключения.

— В каком направлении будет развиваться это решение?

На текущий момент прорабатывается встраивание модели в общий контур работы с негативными сценариями (комплексная система компенсаций). Дополнительно мы встроим модель в общую систему замеров удовлетворенности, а в дальнейшем, возможно, откажемся от ряда опросов, которые мы направляем клиентам.

— Дорогу каким новым инициативам это может открыть?

Оцифровка клиентского опыта поможет в дальнейшем качественно приоритезировать все доработки продуктов и сервисов, которые так или иначе связаны с клиентом. Также это поможет выстроить систему проактивного взаимодействия с клиентом до того, как он перейдет в критическое состояние негатива и начнет жаловаться или покинет банк. Таким образом, нововведения созданы, в первую, очередь, для клиента, чтобы он получал услуги и сервисы высокого качества.

Теги: Машинное обучение Сбер Data Award

На ту же тему: