---
title: "NVIDIA 示範兩台 DGX Station 以 vLLM 共同服務 GLM-5.3：並行 16 時吞吐量最高"
url: https://xcube.enlightcorp.com.tw/zh/news/nvidia-glm-5-3-two-dgx-stations-vllm-tensor-parallelism
category: "AI 基礎設施"
source_type: official
published: 2026-11-13
updated: 2026-11-13
lang: zh-TW
---

# NVIDIA 示範兩台 DGX Station 以 vLLM 共同服務 GLM-5.3：並行 16 時吞吐量最高

發布 2026-11-13 · 更新 2026-11-13 · 官方發布 · 來源: [NVIDIA 技術部落格](https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm)

**重點答案:** NVIDIA 在 2026 年 11 月 13 日示範用兩台以 ConnectX-8 RDMA 相連的 DGX Station，透過 vLLM 的 tensor parallelism 共同服務 GLM-5.3 NVFP4，對外只有一個 OpenAI 相容端點。重點在於：單機放不下的模型可以跨機服務，但並行數要實測才知道上限。

NVIDIA 技術部落格在 2026 年 11 月 13 日發表一篇教學，說明如何用兩台 DGX Station 在本地服務 GLM-5.3。文中使用的 GLM-5.3 NVFP4 是 Z.ai 的 mixture-of-experts 模型的量化版本，共 7,530 億參數、每個 token 啟用 400 億；checkpoint 約 464 GB，超過單顆 GB300 GPU 的 252 GB 記憶體。文章指出，稀疏啟用雖然減少運算，但每個 token 可能被導向不同的 expert，所以全部權重仍須留在記憶體中。

做法是以 tensor parallelism（TP=2）把模型的張量分到兩顆 GPU：兩台機器以 ConnectX-8 RDMA 相連，每個請求都由兩台共同運算，由其中一台透過單一 OpenAI 相容 API 回應。教學使用固定版本與摘要的 vLLM v0.30.0 aarch64 映像，以及固定 revision 的模型；兩台機器各需至少 464 GB 的磁碟空間存放 checkpoint。

啟動設定中，文章特別標出兩個參數：--max-model-len 98304（輸入加輸出的 context 上限）與 --gpu-memory-utilization 0.93。此外啟用了 multi-token prediction（每步草擬四個 token 再由完整模型驗證）、FP8 KV cache 與 prefix caching。

效能數字來自 NVIDIA 以 AIPerf 重放 SPEED-Bench Coding 資料集的結果，屬於廠商自行量測：並行 1 時整體輸出吞吐量為 107.4 tokens/s，並行 8 為 386.0，並行 16 達到 607.8 的高點；並行 32 時降到 385.0，平均請求延遲升到 453.5 秒。平均每位使用者的吞吐量則從並行 1 的 115.3 tokens/s 降到並行 32 的 13.0。

文章也附了一則安全提醒：以 --host 0.0.0.0 搭配 host network 啟動，會把未經驗證的 API 暴露在所有網路介面上，包含管理介面；應以防火牆限制可連線的用戶端，並在開放更大範圍前加上驗證與 TLS。

對評估地端大型模型的企業，這篇教學提供三個可以直接沿用的檢查點：以 checkpoint 大小（而不是啟用參數）估算記憶體與磁碟；在自己的提示與並行條件下重跑壓力測試，找出吞吐量開始下降的位置，並據此設定閘道的並行上限；推論服務本身不帶驗證時，必須由前面的閘道負責身分、配額與加密。

## X Cube 觀點

跨機服務讓單機放不下的模型也能留在自有環境，但官方數據同時顯示，超過某個並行數後整體吞吐量與延遲都會惡化。企業在規劃地端容量時，應把並行上限視為需要量測的參數，並由閘道在推論服務之前執行排隊與限流。

Tags: vLLM, DGX Station, Tensor Parallelism, On-prem AI, Local Inference, NVIDIA, GB300, GLM-5.3, Z.ai, ConnectX-8, AIPerf
