目前每個 GPU 800 Gb/s · 下一代 1.6 Tb/s
Quantum InfiniBand 或 Spectrum-X 乙太網路、SuperNIC、DPU 與線材：決定您的 GPU 能否作為一台機器運作的網路架構。
當 AI 工作在多台伺服器上執行時，每個步驟都要等待 GPU 之間最慢的那則訊息。一個帳面上很快、實際上卻壅塞的網路架構，可能讓昂貴的 GPU 在每個訓練步驟中閒置一大部分時間。把網路做對，是讓您購買的 GPU 發揮更多效能最划算的方式。
NVIDIA 為 AI 工廠提供兩種網路架構。Quantum InfiniBand 現已隨 Quantum-X800 提升至 800 Gb/s，是最大型訓練叢集長期以來的首選。Spectrum-X 為乙太網路帶來 AI 專屬的壅塞控制與自適應路由，NVIDIA 宣稱其 AI 網路效能是現成乙太網路的 1.6 倍，適合以乙太網路維運為標準的組織。
我們設計整套網路環境：GPU 網路架構、獨立的儲存網路、面向使用者的前端網路與管理網路，纜線與光學元件的規劃精確到公尺。
每張 GPU 的網路卡都連接到各自的葉交換器軌道，使集體運算走最短路徑，叢集擴大時流量也能保持平衡。
我們會衡量您的規模、工作負載、多租戶需求與團隊技能，而不是預設偏向某一陣營。
檢查點與資料載入在獨立網路上執行，通常透過 BlueField DPU，因此絕不會拖慢 GPU 之間的流量。
NetQ（乙太網路）與 UFM（InfiniBand）提供遙測與故障排除，並整合進我們的 SysOps247 監控。
我們設計時採用的建構模組。
| 乙太網路架構 | Spectrum-X switches, including Spectrum-6 based models at 102.4 Tb/s per switch chip (SN6600: 128 × 800G; SN6800: 512 × 800G in 5U) |
|---|---|
| InfiniBand 網路架構 | Quantum-X800 InfiniBand at 800 Gb/s per port |
| SuperNIC | ConnectX-8 (800 Gb/s, PCIe Gen6) for Blackwell; ConnectX-9 (1,600 Gb/s per GPU) for Vera Rubin |
| DPU | BlueField-3 for storage, security offload and multi-tenant isolation |
| 光子技術 | Spectrum-X Ethernet Photonics with co-packaged optics: NVIDIA quotes 5 times better power efficiency than pluggable optics |
| 佈線 | LinkX DAC, AOC and transceivers, with a labelled cabling plan |
| 營運 | NVIDIA NetQ (Ethernet), UFM (InfiniBand), integrated with your monitoring |
數據為 NVIDIA 公布的平台規格。若 NVIDIA 列出兩個 Tensor Core 數值，第一個為採用稀疏性的數值，第二個為密集運算數值。確切的配置（CPU、記憶體、儲存、散熱、網路）將與您議定，並以書面報價確認。
容易被忽略的網路項目。
| 空間與電力 | Leaf, spine and storage switches need rack space and power of their own |
|---|---|
| 纜線走線 | Overhead or underfloor pathways sized for hundreds of high-speed cables |
| 光纖元件預算 | Transceivers can be a significant share of fabric cost; we size them precisely |
| 成長 | Spine ports and pathways reserved for the next racks |
從規模評估到日常營運，由單一負責的英國團隊全程負責
針對 rail 優化的網路架構、儲存、前端與管理網路一併設計。
交換器、網路卡、光學元件與纜線，精確到每個連接埠與每一公尺。
交付前完成纜線、韌體對齊與 NCCL all-reduce 基準測試。
遙測、壅塞調校與故障應變均納入營運服務。
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨，交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨，因此我們以完整系統形式報價這些平台。出貨至英國境外，以及英國境內許多先進 GPU，須先依英國與美國出口規定進行最終使用者與最終用途審查，我們才能確認供貨。
兩者都很適合 AI。InfiniBand 在超大規模訓練方面有最長的實績。Spectrum-X 則適合多租戶工廠，以及其他環境全面採用乙太網路的團隊。我們會依據您的規模與技能提出建議。
通常用於前端與管理網路，很少用於 GPU 網路架構。Blackwell 系統需要每個 GPU 400 至 800 Gb/s，舊款交換器無法提供。
告訴我們您希望它產出什麼、有多少人會使用，以及要設置在哪裡。工程師會回覆您一份評估規模後的建議，並坦誠說明自建是否適合您。