Когда обновление весов не требует перезагрузки: горячая замена параметров
Горячая замена весов позволяет обновлять параметры модели без простоев, что критично для production-сервисов с миллионами пользователей. Техника использует отдельный поток загрузки и атомарное переключение указателей на новый набор параметров.
Подход работает для большинства архитектур трансформеров и требует только, чтобы размеры слоёв оставались неизменными. Перезагрузка происходит в миллисекундах, пока основной вычислительный граф продолжает работать со старой копией.
Практическое применение
Компании вроде Together AI и Replicate внедрили эту технику для быстрого исправления bag-фиксов и выката A/B-экспериментов без отключения API. На высоконагруженных сервисах каждая секунда downtime стоит денег.
Минус метода в том, что он требует тщательного управления памятью и синхронизацией потоков. При неправильной реализации возможны race conditions и потеря консистентности данных.
Сейчас горячая замена становится стандартом для open-source фреймворков типа vLLM и разработчиков, которые готовят локальные инстансы к частым обновлениям весов из Hugging Face.