Blackwell · 氣冷 · 每台伺服器 8 個 GPU
空冷伺服器,每台配備八個 RTX PRO 6000 Blackwell Server Edition GPU:最容易入門的 AI 工廠,適用於企業代理程式、視覺運算與實體 AI。
並非每座 AI 工廠都需要 HBM 與液冷。許多企業想為數百名員工運行私有代理、文件搜尋與檢索、程式碼輔助工具,以及影像或影片模型,還可能在同一批設備上進行算圖、模擬或建置數位分身。RTX PRO 6000 Blackwell Server Edition 正是為這種組合而生。
每張 GPU 具備 96 GB GDDR7 與 4 PFLOPS 的 FP4 AI 效能,並可分割為最多四個完全隔離的執行個體,讓多個團隊或服務安全共用一張顯示卡。八張可裝入一台氣冷伺服器,每個節點提供 768 GB 的 GPU 記憶體,由四個節點組成的參考機櫃耗電約 33 至 37 kW。
這意味著您可以將 AI 工廠部署在許多現有的機房與主機代管空間中,並採用與最大型系統相同的 NVIDIA AI Enterprise 軟體。我們也在英國自行打造 Workstation 4U 8-GPU 與 2U 4-GPU RTX PRO 伺服器。
同時提供 70B 等級模型、嵌入模型與重排序模型服務,貼近您的文件與系統,資料不離開您的網路。
第四代 RT 核心與完整圖形支援,意味著這些 GPU 在不運行模型時,也能進行算圖、串流虛擬工作站並執行 Omniverse。
多執行個體 GPU(Multi-Instance GPU)可將每張顯示卡切分為最多四個相互隔離的切片,讓較小的服務與團隊獲得有保證的容量,而不必購買整顆 GPU。
標準氣冷伺服器與機櫃,每櫃功耗遠低於 HBM 平台,使其成為最容易託管的 AI 工廠。
典型的 RTX PRO AI 工廠節點與機櫃。
| GPU | NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 with ECC, 1,597 GB/s |
|---|---|
| AI 效能 | 4 PFLOPS FP4 per GPU |
| GPU 電力 | Up to 600 W per GPU (configurable) |
| 分割 | Up to four Multi-Instance GPU slices per card |
| 每台伺服器 | 8 GPUs, 768 GB GPU memory, dual Xeon or EPYC |
| 網路 | Spectrum-X Ethernet with ConnectX SuperNICs or BlueField-3 |
| 規模 | Typically 4 to 8 nodes per rack; up to 32 nodes (256 GPUs) per scalable unit |
| 軟體 | NVIDIA AI Enterprise, NIM, Omniverse, Run:ai, Kubernetes |
數據為 NVIDIA 公布的平台規格。若 NVIDIA 列出兩個 Tensor Core 數值,第一個為採用稀疏性的數值,第二個為密集運算數值。確切的配置(CPU、記憶體、儲存、散熱、網路)將與您議定,並以書面報價確認。
最容易託管的 AI 工廠。
| 機櫃電力 | Around 33.3 to 36.6 kW for four 8-GPU nodes (published reference figure) |
|---|---|
| 冷卻 | Air cooling with good containment; liquid-cooled GPU variants exist for dense builds |
| 機架 | Standard deep server racks |
| 網路 | Ethernet leaf and spine, often integrated with your existing data-centre network |
從規模評估到日常營運,由單一負責的英國團隊全程負責
我們將您的代理、檢索、繪圖與模擬工作負載對應到 GPU、切分資源與伺服器。
Workstation RTX PRO 伺服器在英國建置、燒機並製作映像檔,若您偏好特定品牌,也可採用合作夥伴的伺服器。
已為自助服務設定好 Kubernetes、NIM、向量資料庫、身分識別與可觀測性。
邊緣端的 WSL Proxy、用於機密管理的 WSL Vault,以及 SysOps247 監控。
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨,交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨,因此我們以完整系統形式報價這些平台。出貨至英國境外,以及英國境內許多先進 GPU,須先依英國與美國出口規定進行最終使用者與最終用途審查,我們才能確認供貨。
八顆 GPU 共 768 GB,單台伺服器即可以 FP8 或 FP4 提供 70B 至 200B 以上參數規模的模型服務,或同時執行許多較小的模型。
可以。我們的 2U 伺服器最多可安裝四張 RTX PRO 6000 Server Edition GPU,4U 伺服器可從兩張起步,再擴充至八張。
不行。Server Edition 採被動式散熱,適用於伺服器氣流,是機櫃的正確選擇。Workstation 與 Max-Q 版本則是為桌邊型機箱所設計。
告訴我們您希望它產出什麼、有多少人會使用,以及要設置在哪裡。工程師會回覆您一份評估規模後的建議,並坦誠說明自建是否適合您。