Агент Mistral справился с кодревью быстрее человека вдвое
Компания Mistral опубликовала результаты тестирования своего агента для кодревью на реальных проектах с открытым кодом. Агент анализирует изменения, проверяет логику, стиль и соответствие тестами без остановок.
На сравнение выбрали 200 pull request-ов разного размера и сложности. Агент Mistral справился за 4,2 часа, человек — за 9,1 часа. При этом агент выявил 23 потенциальные проблемы, человек — 20.
Границы применения
Агент хорошо ловит синтаксические ошибки, нарушения паттернов и проблемы с производительностью. Архитектурные решения и дизайн API всё ещё требуют суждения человека.
Результаты предполагают, что агент может использоваться как первый проход в кодревью, фильтруя очевидные проблемы и позволяя человеку сосредоточиться на концептуальных вопросах.
Mistral предлагает интеграцию агента в GitHub и GitLab через стандартные API, работа начнёт доступна в следующем квартале.