Нейросеть извлекает намерение из жалоб клиентов точнее интернов-новичков
Специалисты по обработке естественного языка обучили модель на корпусе 50 тысяч жалоб с разметкой намерений. Тест на контрольной выборке показал точность 94 процента в определении того, требует ли жалоба замены товара, компенсации, возврата средств или консультации.
При проверке того же набора интернов без специального обучения они корректно определили намерение только в 68 процентах случаев. Опытные специалисты показали результат в 91 процент, что близко к модели, но требует месяцев подготовки.
Применение в автоматизации
Сервисы поддержки клиентов начали использовать модель для предварительной маршрутизации жалоб в нужные отделы. Это сокращает время ответа и снижает нагрузку на операторов.
Однако жалобы со сложной структурой и неявным намерением по-прежнему требуют проверки человеком. Модель работает как фильтр, а не как замена специалиста.
Компании планируют расширить обучение моделей за счёт жалоб на разных языках и в разных доменах, чтобы повысить применимость в международных операциях.