Отслеживание и оценка клиентского опыта уже давно стали важной частью работы компаний на высококонкурентных рынках. Альфа-Банк с помощью машинного обучения оптимизировал работу с негативными отзывами, попутно реализовав полный цикл работ по управлению клиентским опытом. О предпосылках и роли этого проекта рассказывает Анна Кабанец, начальник управления клиентского опыта департамента стратегического развития и качества Альфа-Банка и номинант на премию Data Award.
— Что явилось причиной реализации проекта по работе с негативными отзывами?
Для улучшения опыта клиентов необходимы регулярные замеры обратной связи с последующим внедрением улучшений на их основе. Ведь мы запрашиваем обратную связь клиентов не ради самой оценки, а для того, чтобы понимать зоны роста.
Замеры удовлетворенности в Альфа-Банке осуществляются с помощью платформы Voice of Customer (VOC) – собственной разработки, позволяющей запрашивать оценки клиентов в режиме реального времени по итогу взаимодействия с сотрудником или процессом в любом канале. VOC – основная метрика опыта клиента (Customer Experience, CX), используемая в банке. Результаты опросов хранятся в системах банка и представляются руководителям каналов и продуктовых команд в формате автоматизированных дашбордов с разными уровнями детализации.
С начала 2022 года мы накопили более 9 млн оценок VOC – огромный массив структурированной информации, причем за каждой оценкой стоит своя история. Особенно важно разобраться с негативными оценками – ведь в этих случаях клиент остался недоволен, и важно понять, что его расстроило, чтобы исключить повторение ситуации в будущем. Целью проекта стало выделение в огромном массиве данных конкретных причин негатива клиентов.
— Какие требования выдвигались к создаваемому решению?
По итогу проведенного анализа мы должны были четко понимать, в какой точке контакта и какие изменения необходимы для улучшения впечатлений клиентов.
Ранее для классификации негатива использовались ручные вычитки: мы вычитывали отзывы клиентов и искали корневые проблемы. Но в ручном режиме нереально вычитать весь массив данных. Кроме того, при таком подходе есть доля субъективности, так как оценка производится конкретным экспертом.
— Какой подход выбрали?
По мере развития компетенции в области продвинутой аналитики появилась возможность использовать алгоритмы машинного обучения для создания нового, более точного классификатора негатива и отказа от ручных вычиток. Для этого мы разработали специальную тематическую модель. Она в автоматическом режиме вычитывает весь объем полученных данных, по смыслу группирует проблематики и затем суммаризует их, делая вычитку в разы короче. На основе получившейся суммаризации и создается новый классификатор негативных оценок клиентов.
— Какой математический аппарат использован для построения моделей?
Мы используем тематическое моделирование. Нам требовалось понять, какими темами можно описать датасет, состоящий из экспертиз, а также подобрать оптимальное число тематик, покрывающих всю коллекцию. Помимо этого, сформированные темы должны быть интерпретируемыми: посмотрев содержимое каждой из них, можно сходу понять, о чем она — о комиссии или кэшбэке.
С большинством подсвеченных требований помогает справиться тематическое моделирование. Тематическая модель коллекции текстовых документов определяет, к каким темам относится каждый документ, и какие слова образуют каждую тематику. Для этого каждая тема описывается дискретным распределением вероятностей слов, а каждый документ — дискретным распределением вероятностей тем.
В целом, тематическое моделирование похоже на кластеризацию документов. Отличие в том, что при кластеризации документ целиком относится к одному кластеру, тогда как тематическая модель осуществляет мягкую кластеризацию, разделяя документ между несколькими кластерами – темами.
— Какие данные используются для обучения?
У нас огромное количество оценок VOC, дополнительно мы запрашиваем категории негативных и положительных оценок. Они помогают нам верхнеуровнево отслеживать, в каких каналах и продуктах, какие тематики требуют улучшений. Для того, чтобы понимать причины негатива более конкретно, все негативные оценки обзваниваются экспертами отдела по сохранению лояльности (ОСЛК). По итогу звонка заполняется экспертиза – краткое экспертное заключение с описанием причин негатива по заданным параметрам. С начала 2022 года удалось накопить более 150 тыс. экспертиз.
— Какие результаты достигнуты?
Тематическая модель позволяет обработать весь объем экспертиз, в процессе формируя ряд тем и определяя, к каким темам относится каждая экспертиза и какие слова образуют каждую тему. Для этого каждая тема описывается дискретным распределением вероятностей слов, а каждый документ — дискретным распределением вероятностей тем. В итоге классификатор, сформированный с использованием инструментов продвинутой аналитики, внедрен для категоризации негатива во всех каналах взаимодействия с клиентами – физическими лицами.
Для трансляции результатов руководителям внедрен автоматизированный дашборд по основным причинам негативных оценок VOC. Он показывает тематики негативных оценок с указанием веса каждой из них во всем объеме негативных оценок в необходимых разрезах.
В результате внедрения инструментов продвинутой аналитики в процесс поиска CX-инсайтов удалось решить несколько важнейших задач. Во-первых, увеличилась собственно скорость поиска инсайтов – за счет применения машинного обучения вычитка экспертиз сотрудников ОСЛК ускорилась в пять раз. Во-вторых, сокращено количество ресурсов – в четыре раза уменьшилось количество сотрудников, участвующих в вычитке. Кроме того, мы заметно увеличили охват – сняли ограничения по количеству каналов и продуктов для поиска CX-инсайтов. Сейчас инструментами продвинутой аналитики обрабатываются экспертизы по более чем 20 каналам обслуживания клиентов и продуктам. Наконец, повысилось доверие к результату – применение машинного обучения придало вес выводам и рекомендациям.
— Как эти результаты отразились собственно на лояльности клиентов – том, ради чего все это затевалось?
Улучшение клиентского опыта — это непрерывный процесс, который оказывает влияние на лояльность клиентов в долгосрочной перспективе. Мы внедрили этот процесс, отслеживаем результаты и накапливаем данные. В целом увеличили скорость поиска инсайтов и оперативной передачи информации в бизнес-подразделения для внедрения конкретных улучшений. Сегодня мы можем диагностировать, что мы вернулись к «докризисному» уровню оценки VOC. На текущий момент клиенты чаще ставят более высокие оценки по результатам общения с человеком (персонализированные каналы коммуникаций) и более низкие оценки по роботизированным каналам коммуникаций (голосовой помощник, чат-бот). Средняя доля положительных оценок VOC составляет около 85%
— Какие любопытными или неожиданными инсайтами вы можете поделиться?
На данных мы обнаружили, что в 30% случаев клиенты при оценке качества обслуживания в канале либо оценки работы конкретного сотрудника на самом деле оценивают продукт. Например, так происходит при оценке визита в отделение или звонка в контакт-центр. При оценке продукта они, наоборот, могут оценивать конкретного сотрудника. Таким образом мы выявили кроссфункциональную зависимость канальных и продуктовых VOC.
— Пытались ли оценить финансовый результат проекта?
С точки зрения финансового эффекта мы пока в процессе анализа. На сегодняшний день можем сказать, что нам удалось сократить ресурсы на поиск инсайтов практически вдвое и повысить скорость их поиска. Кроме того, благодаря этому проекту мы внедрили VOC-переменные в модели принятия решений – например, склонность к покупке инвестиционных продуктов клиентами. В результате VOC-переменная показала хороший эффект в пилоте (+4 к коэффициенту Джини).
— Какие возможности открыл этот проект Альфа-Банку?
У нас реализован полный цикл работ по управлению клиентским опытом. Запущены автоматизированные замеры обратной связи клиентов в режиме реального времени во всех точках контакта клиентов физических и юридических лиц с банком. Причем замерами охвачены не только каналы, но и продукты банка. Технология, с помощью которой осуществляются замеры, уже отмечена наградой CX World Award.
Кроме того, внедрен процесс работы с негативными оценками: все негативные оценки прозваниваются в течении 24 часов выделенными экспертами отдела по сохранению лояльности. Реализован процесс работы с отклонениями в обслуживании и операционными ошибками – при возникновении данных ситуаций эксперты отдела по сохранению лояльности направляют ответственному сотруднику оповещение – Alert VOC. Работа с данными оповещениями также автоматизирована, а результаты выводятся на специальный дашборд.
На основе результатов замеров ведется реестр корневых проблем – перечень инициатив по улучшению клиентского опыта. В реестре описаны необходимые действия по улучшениям, сроки и ответственные сотрудники. Реализация инициатив из реестра – реальные примеры улучшений впечатлений клиентов.
— А может ли этот проект повлиять на рынок в целом?
Да, может. Сейчас рынок в целом стремится в сторону развития стратегии клиентоцентричности, когда в центр всех процессов компании ставится клиент. Сегодня это одно из самых явных преимуществ на высококонкурентном рынке. А такие проекты как раз и помогают компаниям в реализации клиентоцентричных стратегий с точки зрения непрерывного улучшения продуктов и сервисов компании.
