Отладка ответов модели начинается с записи сырого потока
Приложение поверх языковой модели ломается иначе, чем обычный сервис: исключений нет, статус ответа двухсотый, а результат неверный. Воспроизвести сбой по описанию пользователя невозможно, потому что вход состоял из длинного контекста, которого уже нет.
Отсюда простая, но нередко забываемая практика — писать в лог не только текст ответа, но и точный запрос: системную часть, список инструментов, все сообщения, параметры сэмплирования. Без этого разбор превращается в гадание, а исправление промпта — в перебор наугад.
Потоковый ответ прячет ошибки
Стриминг усложняет картину. Ответ приходит кусками, вызовы инструментов собираются из фрагментов, и обрыв соединения на середине выглядит как аккуратно завершённый, но неполный текст. Разработчики отмечают, что отдельно логировать причину завершения генерации не менее важно, чем сам текст: упёрлась ли она в лимит токенов, остановилась сама или была прервана.
Полезной оказывается и запись расхождений формата. Если ответ должен быть структурированным, но иногда приходит с пояснением вокруг, счётчик таких случаев быстро показывает, промах это редкий или системный, и стоит ли чинить промпт или ужесточать схему.
Что это значит
Подробности и первичное описание опубликованы на странице руководство по сборке пайплайна в ComfyUI, там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе ИИ-агенты и автоматизация — он пополняется по мере выхода новых сообщений.