ИИ в смартфоне начала работать без интернета на устройстве
Компании Apple, Google и другие производители смартфонов встроили облегченные версии больших языковых моделей непосредственно в операционную систему. Модель работает локально, на чипе телефона, без отправки данных на сервер, что обеспечивает конфиденциальность и практически нулевую задержку.
Размер моделей уменьшен за счёт квантизации и специальной оптимизации под мобильные процессоры, но функциональность осталась достаточной для решения типовых задач: помощь в письме, анализ фото, предложение контекстных подсказок.
Преимущества и ограничения
Локальное выполнение улучшает конфиденциальность, убирает зависимость от качества интернета и снижает нагрузку на серверы компании. Пользователь получает ответ мгновенно, без задержек на передачу данных.
Ограничение в том, что локальные модели слабее облачных аналогов — они не справляются со сложными задачами и требуют обновления по мере совершенствования технологии. Для тяжёлых операций смартфон всё ещё обращается в облако.
Появление местного ИИ в смартфонах открывает путь к персональным агентам, которые работают независимо от интернета и понимают контекст пользователя на уровне его устройства.