Встроенный агент теперь видит и комментирует экран в реальном времени
Обновление популярного ассистента добавило режим, когда агент может получать поток скринов рабочего стола пользователя в реальном времени. Это позволяет ассистенту видеть, какое приложение открыто, какой документ просматривается, и давать подсказки в контексте.
Технически это сочетание захвата окна с компрессией JPEG, передачей по защищённому каналу и локальным анализом на устройстве без отправки кадров в облако. Пользователь может отключить режим одной кнопкой, и данные не сохраняются.
Практический спрос
Аналитики и программисты уже используют функцию для быстрого разбора неясной структуры документа или подсказки по синтаксису кода. Агент видит ошибку в консоли и предлагает решение, не требуя от пользователя переписывать текст в окно чата.
Корпоративные развёртывания проводят с политиками экранирования — агент может видеть только определённые приложения или области экрана по настройке администратора. Это решает проблему конфиденциальности в организациях.
По опросам, функция сокращает время на поиск и фиксацию ошибок на четверть, так как контекст задачи становится прозрачным для ассистента.