模型部署技术说明文档

本文档记录了在单机 4×RTX 4090 环境下，通过 vLLM v0.19.1 部署两个大语言模型的完整过程，涵盖模型下载、Docker 容器配置、量化策略、推测解码及 KV cache 量化等关键技术细节。

部署模型：

使用 huggingface_hub 通过国内镜像站加速下载：

# 安装依赖（uv 虚拟环境）
uv venv .venv --python python3.10
uv pip install huggingface_hub --python .venv/bin/python

# 下载 Qwen3.6-35B-A3B-GPTQ-Int4
HF_ENDPOINT=https://hf-mirror.com .venv/bin/python -c "
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id='palmfuture/Qwen3.6-35B-A3B-GPTQ-Int4',
    local_dir='/data/models/int4/Qwen3.6-35B-A3B-GPTQ-Int4',
)
"

# 下载 Gemma-4-26B-A4B-it
HF_ENDPOINT=https://hf-mirror.com .venv/bin/python -c "
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id='google/gemma-4-26B-A4B-it',
    local_dir='/data/models/int4/gemma-4-26B-A4B-it',
)
"

模型采用 GPTQ Int4 量化（由 GPTQModel 6.0.3 生成），关键配置：

#!/bin/bash
# /data/models/int4/start_qwen3.6_int4.sh
docker rm qwen3.6-int4 -f 2>/dev/null

docker run -d --restart unless-stopped \
  --name qwen3.6-int4 -p 18004:8000 \
  --runtime nvidia --ipc=host \
  -e NVIDIA_VISIBLE_DEVICES=4,5,6,7 \
  -e PYTORCH_ALLOC_CONF=expandable_segments:True \
  -v /data/models/int4/Qwen3.6-35B-A3B-GPTQ-Int4:/model \
  docker.m.daocloud.io/vllm/vllm-openai:v0.19.1 \
  --tensor-parallel-size 4 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --default-chat-template-kwargs '{"enable_thinking": false}' \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' \
  --additional-config '{"turboquant": true, "k_quant": "q4_0", "v_quant": "q3_0"}' \
  --max-model-len 253440 \
  --enable-prefix-caching \
  --served-model-name Qwen3.6-35B-A3B-GPTQ-Int4 \
  --enforce-eager \
  --model /model

docker logs -f qwen3.6-int4

MTP 推测解码各位置接受率：position-0 ≈ 55~83%，position-1 ≈ 25~50%。

#!/bin/bash
# /data/models/int4/start_gemma4_26b.sh
docker rm gemma4-26b -f 2>/dev/null

docker run -d --restart unless-stopped \
  --name gemma4-26b -p 18005:8000 \
  --runtime nvidia --ipc=host \
  -e NVIDIA_VISIBLE_DEVICES=4,5,6,7 \
  -e PYTORCH_ALLOC_CONF=expandable_segments:True \
  -v /data/models/int4/gemma-4-26B-A4B-it:/model \
  docker.m.daocloud.io/vllm/vllm-openai:v0.19.1 \
  --tensor-parallel-size 4 \
  --enable-auto-tool-choice \
  --tool-call-parser pythonic \
  --max-model-len 131072 \
  --enable-prefix-caching \
  --served-model-name gemma-4-26B-A4B-it \
  --enforce-eager \
  --model /model

docker logs -f gemma4-26b

turboquant 是 DaoCloud 定制 vLLM 镜像中的 KV cache 量化扩展，与模型权重量化相互独立，可叠加使用。

生效验证：日志中参数被正确解析（无报错），初始化阶段出现两次如下提示，说明有耗时的 KV cache 量化操作执行：

No available shared memory broadcast block found in 60 seconds.
This typically happens when some processes are doing
time-consuming work (e.g. compilation, weight/kv cache quantization).

Qwen3.6-35B-A3B-GPTQ-Int4（端口 18004）

curl http://localhost:18004/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.6-35B-A3B-GPTQ-Int4",
    "messages": [{"role": "user", "content": "你好"}],
    "max_tokens": 512
  }'

Gemma-4-26B-A4B-it（端口 18005）

curl http://localhost:18005/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-4-26B-A4B-it",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 512
  }'

查看已加载模型

curl http://localhost:18004/v1/models
curl http://localhost:18005/v1/models