Когда откат на старую модель быстрее чем ловить баги в новой
Новые версии моделей часто приносят улучшения в качестве, но за счёт появления новых ошибок в краевых случаях. Вероятность регрессии возрастает с объёмом изменений: если модель переучивали заново или значительно меняли архитектуру, старые баги могут вернуться или появиться совсем новые.
В сервисах с высокими требованиями к надёжности стоит вопрос: стоит ли ждать исправления нового бага или откатиться на стабильную версию? Это особенно актуально, если новая модель требует переделки пайплайна инференса или изменения предобработки входных данных.
Критерии для решения
Откат имеет смысл, если бага в новой версии критичнее, чем фиксированный баг в старой. Также нужно учитывать время, которое займёт исправление: если разработчикам нужна неделя на fix, то откат выиграет по времени восстановления сервиса.
Некоторые компании вообще не переходят на новые версии, пока не появятся регулярные отчёты от других пользователей. Это консервативный подход, но для критичных систем он оправдан.
Со временем эта практика может привести к фрагментации — кто-то остаётся на Llama 2, кто-то на Llama 3, кто-то на специальном форке. Миграция становится ещё сложнее, но стабильность компенсирует трудозатраты.