Локальные SDK меняют требования к архитектуре приложения
Библиотеки, позволяющие вызывать модель прямо из процесса приложения, стирают привычную границу между кодом и внешним сервисом. Пропадают сетевые ошибки, таймауты и лимиты запросов — и вместе с ними исчезает удобная абстракция, за которой скрывались ресурсы.
Первое, с чем сталкиваются разработчики, — конкурентность. Вызов через HTTP можно запустить в сотне потоков, локальный вычислитель занимает ускоритель целиком. Приложению приходится заводить собственную очередь и решать, что делать с запросом, пришедшим, пока занят предыдущий.
Память как новый лимит
Второе — время запуска и вес в памяти. Инициализация занимает секунды, поэтому держать состояние приходится на весь срок жизни процесса, что плохо сочетается с моделями бессерверного развёртывания и с горячей перезагрузкой в разработке.
Тем не менее направление выглядит устойчивым: для задач вроде классификации, извлечения сущностей или локального поиска по эмбеддингам небольшая модель рядом с приложением обходится дешевле сетевого вызова и не создаёт зависимости от чужой доступности.
Компромиссной схемой становится гибрид — простое обрабатывается на месте, сложное уходит наружу. Тогда основной инженерной задачей оказывается не выбор модели, а честный критерий маршрутизации между ними.
Что это значит
Подробности и первичное описание опубликованы на странице «разбор промптов на фотореализм», там же собраны условия доступа и ограничения, о которых заявили разработчики.
Похожие материалы и обновления по теме мы собираем в разделе Инструменты для разработчиков — он пополняется по мере выхода новых сообщений.