Запуск ChatGLM 4 локально: производительность на китайском языке

27 октября 2026

ChatGLM 4 демонстрирует значительный прирост в понимании нюансов китайского языка и качестве ответов на специализированные вопросы. Размер 9 млрд параметров позволяет развертывать её на одном NVIDIA RTX 3090 или двух RTX 4060.

Размер контекстного окна расширен до 128K токенов, что полезно для анализа длинных документов и исторических диалогов. Инференс на процессорах остаётся медленным, но возможным для неспешных задач.

Практическое применение

Компании в Азии уже используют ChatGLM 4 для локальных LLM-сервисов с гарантиями конфиденциальности. Производительность на русском языке отстаёт от китайского, но остаётся приемлемой для вспомогательных задач.

Фреймворк vLLM добавил оптимизации для инференса ChatGLM, что позволяет снизить потребление памяти на 20-30% без потери качества. Это открыло возможность запуска на более скромном оборудовании.

Модель показывает, что специализация по языку и культурному контексту остаётся конкурентным преимуществом, даже когда размер уступает западным аналогам.