Qwen 3.8 27B: как запустить модель на своём сервере
🎁 +100% к первому пополнению в LeanTech AI — до конца акции--:--:--Забрать бонус →
Qwen · Практическая инструкция

Как запустить Qwen 3.8 27B

Qwen3.8-27B вышла с открытыми весами под лицензией Apache 2.0, понимает текст, картинки и видео. Способ запуска зависит от задачи: для личных экспериментов хватит GGUF-сборки, а для сервиса с API лучше подойдут vLLM или SGLang.

Какая версия поместится в память

Unsloth приводит объём оперативной и видеопамяти в сумме. На практике выбирайте квантизацию с запасом, а для ускорения MTP оставьте ещё 1–2 ГБ:

  • 1 бит: 7–8 ГБ, 2 бита: 9–11 ГБ.
  • 3 бита: 12–14 ГБ, 4 бита: 16–19 ГБ.
  • 6 бит: 23–26 ГБ, 8 бит: 31 ГБ.
  • Полная BF16: 56 ГБ.

Какой способ запуска выбрать

  • Ollama: ollama run qwen3.8:27b. Самый короткий путь на одном компьютере, сборка весит около 18 ГБ. На Mac есть отдельный тег qwen3.8:27b-mlx.
  • Docker Model Runner: docker model run hf.co/Qwen/Qwen3.8-27B. Подходит, если вы уже работаете с контейнерами.
  • vLLM: pip install vllm, затем vllm serve "Qwen/Qwen3.8-27B". Сервер для нескольких запросов одновременно.
  • SGLang: pip install sglang, затем python3 -m sglang.launch_server --model-path "Qwen/Qwen3.8-27B" --host 0.0.0.0 --port 30000.
  • llama.cpp: подходит для квантованных GGUF-файлов из репозитория unsloth/Qwen3.8-27B-GGUF, если нужно настроить запуск вручную.

Как проверить, что всё работает

  1. Проверьте издателя: официальные веса лежат в организации Qwen на Hugging Face, а похожих по названию сторонних репозиториев там немало.
  2. Запустите сервер и дождитесь загрузки весов в память.
  3. Отправьте короткий запрос. vLLM и SGLang поднимают локальный HTTP API; адрес и порт зависят от ваших параметров.
  4. Проверьте ответ с картинкой, если вам нужно зрение модели, и посмотрите загрузку памяти.
  5. Запомните рабочие параметры и только потом увеличивайте контекст и нагрузку.

Настройки генерации

Для режима с размышлениями Unsloth советует temperature 1.0, top_p 0.95, top_k 20, min_p 0. Без размышлений подойдут temperature 0.7, top_p 0.80, top_k 20, presence_penalty 1.5. Глубину рассуждений задаёт параметр reasoning_effort. По умолчанию он выставлен на xhigh, поэтому простые вопросы могут идти долго; для повседневных задач попробуйте medium.

Родной контекст составляет 262 144 токена. Карточка модели допускает расширение до миллиона через YaRN, но предупреждает о возможном падении качества на коротких текстах. Большой контекст также заметно увеличивает расход памяти, так что не включайте его без необходимости.

Соберите команду под своё железо

Расскажите ИИ-агенту LeanTech о видеокарте и задаче: он поможет подобрать параметры запуска и разобрать ошибку. Кнопка откроет агента с готовым запросом.

Поставить задачу →

Вопросы и ответы

Сколько нужно видеопамяти для Qwen 3.8 27B?

Официальная карточка конкретных требований не указывает. По данным Unsloth, 4-битной версии нужно 16–19 ГБ оперативной и видеопамяти в сумме, а полной BF16 — 56 ГБ.

Можно ли использовать Qwen 3.8 27B в коммерческом проекте?

Лицензия Apache 2.0 это в целом допускает. Перед внедрением прочитайте текст лицензии и условия конкретного репозитория: у сторонних сборок они могут быть дополнены.

Почему модель долго думает над простым вопросом?

По умолчанию рассуждение настроено на высокий уровень. Снизьте reasoning_effort до medium или отключите режим размышлений для коротких задач.

Чем запуск через Ollama отличается от vLLM?

Ollama удобнее для одного пользователя на своём компьютере. vLLM и SGLang рассчитаны на серверы и одновременную обработку запросов, но сложнее в настройке.

Материал подготовлен независимо от разработчика сервиса. Команды и параметры взяты из карточки Qwen3.8-27B на Hugging Face, библиотеки Ollama и документации Unsloth (ноябрь 2026 года). Цифры памяти приведены по Unsloth и зависят от сборки.

Открыть Qwen AI — Без VPN
Меню