Нейросеть извлекает намерение из жалоб клиентов точнее интернов-новичков

Специалисты по обработке естественного языка обучили модель на корпусе 50 тысяч жалоб с разметкой намерений. Тест на контрольной выборке показал точность 94 процента в определении того, требует ли жалоба замены товара, компенсации, возврата средств или консультации.

При проверке того же набора интернов без специального обучения они корректно определили намерение только в 68 процентах случаев. Опытные специалисты показали результат в 91 процент, что близко к модели, но требует месяцев подготовки.

Применение в автоматизации

Сервисы поддержки клиентов начали использовать модель для предварительной маршрутизации жалоб в нужные отделы. Это сокращает время ответа и снижает нагрузку на операторов.

Однако жалобы со сложной структурой и неявным намерением по-прежнему требуют проверки человеком. Модель работает как фильтр, а не как замена специалиста.

Компании планируют расширить обучение моделей за счёт жалоб на разных языках и в разных доменах, чтобы повысить применимость в международных операциях.