Запрос помощнику теперь может быть голосовым, текстом или фото
Новое поколение ИИ-помощников может одновременно обрабатывать голос, текст и фотографии в составе одного запроса. Пользователь может начать фразу голосом, добавить текстовое уточнение и приложить скриншот или фотографию — агент поймёт, как всё это связано.
Эта возможность особенно полезна для мобильных пользователей, которые часто переключаются между модальностями: диктуют в движении, делают снимки экрана или объектов, потом уточняют в тексте. Агент больше не требует выбора между «либо я говорю, либо я пишу, либо я прикрепляю фото».
Улучшение понимания контекста
Обработка нескольких потоков информации помогает агенту лучше понять интент пользователя. Если голос неразборчив или текст неполный, фото может дополнить недостающую информацию. Это снижает количество уточняющих вопросов.
Реализация требовала больших вычислительных мощностей, поэтому мультимодальные агенты сначала работали облачные. Теперь часть обработки начинает переходить на устройство, снижая задержку ответа.
По оценкам аналитиков, мультимодальность увеличивает охват пользователей: те, кто раньше не могли полностью выразить свой запрос одной модальностью, теперь находят удобный способ общения.