Исследование: ИИ-генерируемый код содержит на 50 процентов больше багов при низкой сложности
Исследователи из нескольких университетов провели масштабный анализ качества кода, сгенерированного языковыми моделями. Результаты показали парадоксальную закономерность: при решении простых задач ИИ допускает на 50 процентов больше ошибок, чем опытные разработчики, в то время как на сложных задачах качество приближается к среднему уровню программистов.
Исследователи объясняют это явление тем, что модели переучены на больших объемах кода, где простые паттерны могут быть представлены множеством вариаций. На сложных задачах модель полагается на более глубокий контекст и абстрактные связи, что улучшает качество генерации.
Практические выводы
Эксперты рекомендуют использовать ИИ-генерированный код в тех случаях, когда задача содержит достаточную сложность, и обязательно проводить ревью даже простого кода от модели. Особое внимание следует уделять безопасности и обработке исключительных ситуаций.
Результаты исследования противоречат распространенному мнению о том, что ИИ лучше справляется с простыми задачами. Разработчики инструментов должны учитывать эту особенность при проектировании систем помощи программистам.
Рекомендуется развивать методы валидации кода и интеграции со статическими анализаторами для автоматического выявления потенциальных ошибок в генерируемом коде.