Восстановление пунктуации: интонация текстом выражается, но не всегда понимается
Когда модель распознавания речи выдаёт результат, это обычно сплошной текст без каких-либо знаков препинания. Добавить пунктуацию задача кажется простой: слушай интонацию, ставь точку там, где голос понижается, запятую там, где пауза. На деле всё гораздо сложнее.
Интонация не всегда соответствует грамматике. Человек может говорить с паузами не потому, что кончилась фраза, а потому, что подбирает слово. С другой стороны, вопрос может быть произнесён с понижением голоса, если говорящий уверен в ответе. Модель должна различать десятки таких исключений и комбинаций.
Как грамматический контекст помогает
Лучшие системы восстановления пунктуации работают не на основе одной интонации, а используют языковую модель, которая знает, как обычно строятся фразы на языке. Видя последовательность слов, модель может предсказать, где скорее всего должна быть точка, запятая или другой знак.
Но даже такой подход периодически ошибается, особенно на границах между смыслами. Где кончается одна мысль и начинается другая, часто определяется контекстом, а не звучанием, и модель может об этом не знать.
На практике инструменты транскрибации всё чаще добавляют в интерфейс возможность быстро исправлять пунктуацию вручную, потому что полностью автоматическое восстановление редко выглядит идеально даже на хороших записях.