OpenAI запустила облегчённую версию для мобильных устройств
OpenAI запустила облегчённую версию ChatGPT, рассчитанную на выполнение на устройствах с 4 ГБ оперативной памяти и медленным интернетом. Модель сжата с использованием квантизации и дистилляции знаний, в результате чего её размер снижен с 70 ГБ базовой версии до 2 ГБ при сохранении 85 процентов качества ответов.
Приложение поддерживает частичное выполнение на устройстве и частичное на облаке, автоматически выбирая оптимальное распределение в зависимости от типа запроса и состояния сети. При потере соединения модель может обрабатывать простые запросы локально, а сложные задачи ставит в очередь на отправку.
Доступность и развёртывание
Облегчённая версия встраивается через SDK в мобильные приложения третьих лиц и доступна как для iOS, так и для Android. Лицензирование осуществляется через API, что позволяет разработчикам встраивать модель в свои приложения без необходимости развёртывания собственной инфраструктуры.
Инициатива направлена на расширение доступа к ChatGPT в регионах с ненадёжным интернетом и в странах, где высокие затраты на облачные вычисления. Предварительное тестирование показало интерес со стороны разработчиков образовательных и productivity-приложений.
Мобильная версия начинает поступать в закрытый бета-тест для выбранных партнёров в сентябре, общий релиз запланирован на ноябрь.