🔥 Qwen3.6 35B FP8 跨节点集群部署

集群拓扑

第一步 — 清理旧状态

每次启动前必须清理残留容器：

节点二 (Head):

docker rm -f vllm 2>/dev/null

节点一 (Worker):

ssh user@xxx.xxx.x.101 "docker rm -f vllm-worker 2>/dev/null"

第二步 — 启动 Ray 集群

节点二 (Head)

docker run -d --name vllm --gpus all --network host --ipc=host --privileged \
  -v /model:/model \
  -e VLLM_HOST_IP=xxx.xxx.x.2 \
  -e GLOO_SOCKET_IFNAME=enP2p1s0f1np1 \
  -e NCCL_SOCKET_IFNAME=enP2p1s0f1np1 \
  vllm-node-tf5:latest \
  ray start --head --node-ip-address xxx.xxx.x.2 --port 6379 --block

节点一 (Worker)

ssh user@xxx.xxx.x.101 "docker run -d --name vllm-worker --gpus all --network host --ipc=host --privileged \
  -v /model:/model -e VLLM_HOST_IP=xxx.xxx.x.1 \
  vllm-node-tf5:latest \
  ray start --address xxx.xxx.x.2:6379 --node-ip-address xxx.xxx.x.1 --block"

第三步 — 验证 Ray 集群

docker exec vllm ray status

必须看到：

• Active: 2 nodes
• GPU: 2.0

第四步 — 启动 vLLM 服务

在 Head 容器内执行（后台模式）：

docker exec -d vllm bash -c "
VLLM_HOST_IP=xxx.xxx.x.2 \
GLOO_SOCKET_IFNAME=enP2p1s0f1np1 \
NCCL_SOCKET_IFNAME=enP2p1s0f1np1 \
vllm serve /model/Qwen3.6-35B-A3B-Opus-abliterated-FP8 \
  --host 0.0.0.0 --port 30001 \
  --gpu-memory-utilization 0.4 \
  --max-model-len 262144 \
  --max-num-batched-tokens 8192 \
  --max-num-seqs 16 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --attention-backend flashinfer \
  --load-format instanttensor \
  --trust-remote-code \
  --dtype auto \
  --kv-cache-dtype fp8 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3 \
  --tensor-parallel-size 2 \
  --distributed-executor-backend ray > /tmp/vllm.log 2>&1"

第五步 — 模型准备（首次部署）

模型路径

模型必须存在于两台机器的 /model/ 目录下，或通过挂载 HF 缓存让 vLLM 自动加载。

Tokenizer 修复（如需要）

cd /home/nvidia/.cache/huggingface/hub/models--*/snapshots/*/
sed -i 's|"tokenizer_class": "TokenizersBackend"|"tokenizer_class": "Qwen2TokenizerFast"|' tokenizer_config.json

模型传输（走 RoCE，比 rsync 快 5 倍）

# 在 102 上监听
ssh user@xxx.xxx.x.102 "nc -l -p 1234 | tar xf -" &

# 在 101 上发送
tar cf - -C /model Qwen3.6-35B-A3B-Opus-abliterated-FP8 | nc xxx.xxx.x.102 1234

第六步 — 验证与监控

API 验证

curl http://xxx.xxx.x.102:30001/v1/models | python3 -m json.tool
# 必须返回 {"data": [{"id": "vllm", ...}]}

轻量推理测试

curl http://127.0.0.1:30001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "vllm", "messages": [{"role": "user", "content": "你好"}], "max_tokens": 50}'

内存监控

watch -n 1 free -h

避坑指南

参数速查表