Как запустить Qwen 3.8 27B
Qwen3.8-27B вышла с открытыми весами под лицензией Apache 2.0, понимает текст, картинки и видео. Способ запуска зависит от задачи: для личных экспериментов хватит GGUF-сборки, а для сервиса с API лучше подойдут vLLM или SGLang.
Какая версия поместится в память
Unsloth приводит объём оперативной и видеопамяти в сумме. На практике выбирайте квантизацию с запасом, а для ускорения MTP оставьте ещё 1–2 ГБ:
- 1 бит: 7–8 ГБ, 2 бита: 9–11 ГБ.
- 3 бита: 12–14 ГБ, 4 бита: 16–19 ГБ.
- 6 бит: 23–26 ГБ, 8 бит: 31 ГБ.
- Полная BF16: 56 ГБ.
Какой способ запуска выбрать
- Ollama: ollama run qwen3.8:27b. Самый короткий путь на одном компьютере, сборка весит около 18 ГБ. На Mac есть отдельный тег qwen3.8:27b-mlx.
- Docker Model Runner: docker model run hf.co/Qwen/Qwen3.8-27B. Подходит, если вы уже работаете с контейнерами.
- vLLM: pip install vllm, затем vllm serve "Qwen/Qwen3.8-27B". Сервер для нескольких запросов одновременно.
- SGLang: pip install sglang, затем python3 -m sglang.launch_server --model-path "Qwen/Qwen3.8-27B" --host 0.0.0.0 --port 30000.
- llama.cpp: подходит для квантованных GGUF-файлов из репозитория unsloth/Qwen3.8-27B-GGUF, если нужно настроить запуск вручную.
Как проверить, что всё работает
- Проверьте издателя: официальные веса лежат в организации Qwen на Hugging Face, а похожих по названию сторонних репозиториев там немало.
- Запустите сервер и дождитесь загрузки весов в память.
- Отправьте короткий запрос. vLLM и SGLang поднимают локальный HTTP API; адрес и порт зависят от ваших параметров.
- Проверьте ответ с картинкой, если вам нужно зрение модели, и посмотрите загрузку памяти.
- Запомните рабочие параметры и только потом увеличивайте контекст и нагрузку.
Настройки генерации
Для режима с размышлениями Unsloth советует temperature 1.0, top_p 0.95, top_k 20, min_p 0. Без размышлений подойдут temperature 0.7, top_p 0.80, top_k 20, presence_penalty 1.5. Глубину рассуждений задаёт параметр reasoning_effort. По умолчанию он выставлен на xhigh, поэтому простые вопросы могут идти долго; для повседневных задач попробуйте medium.
Родной контекст составляет 262 144 токена. Карточка модели допускает расширение до миллиона через YaRN, но предупреждает о возможном падении качества на коротких текстах. Большой контекст также заметно увеличивает расход памяти, так что не включайте его без необходимости.
Соберите команду под своё железо
Расскажите ИИ-агенту LeanTech о видеокарте и задаче: он поможет подобрать параметры запуска и разобрать ошибку. Кнопка откроет агента с готовым запросом.
Поставить задачу →Вопросы и ответы
Сколько нужно видеопамяти для Qwen 3.8 27B?
Официальная карточка конкретных требований не указывает. По данным Unsloth, 4-битной версии нужно 16–19 ГБ оперативной и видеопамяти в сумме, а полной BF16 — 56 ГБ.
Можно ли использовать Qwen 3.8 27B в коммерческом проекте?
Лицензия Apache 2.0 это в целом допускает. Перед внедрением прочитайте текст лицензии и условия конкретного репозитория: у сторонних сборок они могут быть дополнены.
Почему модель долго думает над простым вопросом?
По умолчанию рассуждение настроено на высокий уровень. Снизьте reasoning_effort до medium или отключите режим размышлений для коротких задач.
Чем запуск через Ollama отличается от vLLM?
Ollama удобнее для одного пользователя на своём компьютере. vLLM и SGLang рассчитаны на серверы и одновременную обработку запросов, но сложнее в настройке.
Материал подготовлен независимо от разработчика сервиса. Команды и параметры взяты из карточки Qwen3.8-27B на Hugging Face, библиотеки Ollama и документации Unsloth (ноябрь 2026 года). Цифры памяти приведены по Unsloth и зависят от сборки.