官方發布AI 基礎設施

NVIDIA 示範兩台 DGX Station 以 vLLM 共同服務 GLM-5.3:並行 16 時吞吐量最高

NVIDIA 於 2026 年 11 月 13 日發表教學,以 vLLM 與 tensor parallelism 讓兩台 DGX Station 共同服務約 464 GB 的 GLM-5.3 NVFP4。官方數據顯示吞吐量在並行 16 時達到高點,並行 32 時反而下降。

重點答案

NVIDIA 在 2026 年 11 月 13 日示範用兩台以 ConnectX-8 RDMA 相連的 DGX Station,透過 vLLM 的 tensor parallelism 共同服務 GLM-5.3 NVFP4,對外只有一個 OpenAI 相容端點。重點在於:單機放不下的模型可以跨機服務,但並行數要實測才知道上限。

NVIDIA 技術部落格在 2026 年 11 月 13 日發表一篇教學,說明如何用兩台 DGX Station 在本地服務 GLM-5.3。文中使用的 GLM-5.3 NVFP4 是 Z.ai 的 mixture-of-experts 模型的量化版本,共 7,530 億參數、每個 token 啟用 400 億;checkpoint 約 464 GB,超過單顆 GB300 GPU 的 252 GB 記憶體。文章指出,稀疏啟用雖然減少運算,但每個 token 可能被導向不同的 expert,所以全部權重仍須留在記憶體中。

做法是以 tensor parallelism(TP=2)把模型的張量分到兩顆 GPU:兩台機器以 ConnectX-8 RDMA 相連,每個請求都由兩台共同運算,由其中一台透過單一 OpenAI 相容 API 回應。教學使用固定版本與摘要的 vLLM v0.30.0 aarch64 映像,以及固定 revision 的模型;兩台機器各需至少 464 GB 的磁碟空間存放 checkpoint。

啟動設定中,文章特別標出兩個參數:--max-model-len 98304(輸入加輸出的 context 上限)與 --gpu-memory-utilization 0.93。此外啟用了 multi-token prediction(每步草擬四個 token 再由完整模型驗證)、FP8 KV cache 與 prefix caching。

效能數字來自 NVIDIA 以 AIPerf 重放 SPEED-Bench Coding 資料集的結果,屬於廠商自行量測:並行 1 時整體輸出吞吐量為 107.4 tokens/s,並行 8 為 386.0,並行 16 達到 607.8 的高點;並行 32 時降到 385.0,平均請求延遲升到 453.5 秒。平均每位使用者的吞吐量則從並行 1 的 115.3 tokens/s 降到並行 32 的 13.0。

文章也附了一則安全提醒:以 --host 0.0.0.0 搭配 host network 啟動,會把未經驗證的 API 暴露在所有網路介面上,包含管理介面;應以防火牆限制可連線的用戶端,並在開放更大範圍前加上驗證與 TLS。

對評估地端大型模型的企業,這篇教學提供三個可以直接沿用的檢查點:以 checkpoint 大小(而不是啟用參數)估算記憶體與磁碟;在自己的提示與並行條件下重跑壓力測試,找出吞吐量開始下降的位置,並據此設定閘道的並行上限;推論服務本身不帶驗證時,必須由前面的閘道負責身分、配額與加密。

X Cube 觀點

跨機服務讓單機放不下的模型也能留在自有環境,但官方數據同時顯示,超過某個並行數後整體吞吐量與延遲都會惡化。企業在規劃地端容量時,應把並行上限視為需要量測的參數,並由閘道在推論服務之前執行排隊與限流。