Balinder Walia
什麼是 DGX 作業系統？
DGX OS是NVIDIA專門為人工智慧基礎設施構建的作業系統。它基於 Ubuntu Linux，將完全最佳化的 AI 軟體堆疊、企業安全功能和叢集管理工具整合到一個單一的、有凝聚力的平臺中，遠遠超出了標準發行版。 DGX OS 最初僅在 NVIDIA 自己的 DGX 硬體上提供，現在擴大了其覆蓋範圍，現在支援選定的合作伙伴系統，反映了 NVIDIA 成為各種規模的 AI 計算預設平臺的雄心。
對於人工智慧工程師來說，DGX OS 解決了一個長期存在的問題：安裝作業系統與擁有用於訓練和推理的生產就緒環境之間的差距。在標準 Ubuntu 上，配置 CUDA 驅動程式、cuDNN、容器執行時、網路結構和儲存可能會消耗數天的工程時間並引入微妙的相容性問題。 DGX 作業系統完全消除了這種摩擦。
預配置的人工智慧軟體堆疊
DGX 作業系統的核心是其預先配置且經過驗證的 AI 軟體堆疊。每個元件都經過一起測試，並保證在支援的硬體上以最佳效能工作。
CUDA 工具包： DGX OS 附帶最新的穩定 CUDA 版本，完全配置了環境變數、庫路徑和編譯器工具鏈。驅動程式版本與核心匹配，並針對系統中的特定 GPU 型號進行測試。沒有手動驅動程式安裝，沒有版本不匹配除錯，也沒有損壞的符號連結。
cuDNN： CUDA 深度神經網路庫已預先安裝並針對系統中存在的 GPU 架構進行了調整。 DGX OS 包括 cuDNN 針對常見網路架構的自動調整配置檔案，這意味著您的第一個卷積或注意力操作以接近最佳的速度執行，無需預熱實驗。
張量RT： NVIDIA 的推理最佳化引擎包含在針對流行模型架構的預構建外掛中。 DGX 作業系統將 TensorRT 配置為高效使用可用的 GPU 記憶體，從而支援開箱即用的 INT8 和 FP16 推理，並可隨時執行校準工具。
國家癌症中心： NVIDIA 集體通訊庫對於多 GPU 和多節點訓練至關重要。 DGX 作業系統使用與系統的 NVLink、NVSwitch 和 InfiniBand 結構相匹配的拓撲感知設定來配置 NCCL。在透過 NVSwitch 連線八個 GPU 的 DGX H100 系統上，NCCL 無需任何手動調整即可實現 all-reduce 操作的接近理論最大頻寬。
容器執行時和 NGC
DGX作業系統使用容器作為AI工作負載的主要部署機制。預安裝了 NVIDIA 容器工具包，使 Docker 和其他 OCI 相容執行時能夠透明地訪問 GPU。當您執行容器時，GPU 裝置、驅動程式和庫會自動安裝在容器名稱空間內。
該系統與 NVIDIA NGC 緊密整合，NVIDIA NGC 是針對每個主要人工智慧框架的 GPU 最佳化容器目錄。適用於 PyTorch、TensorFlow、JAX、RAPIDS 和數十種其他工具的 NGC 容器每月都會針對 DGX 作業系統進行測試，併發布效能基準。在 DGX 作業系統上拉取並執行 NGC 容器只需一個命令：
docker run --gpus all nvcr.io/nvidia/pytorch:24.03-py3
該容器包括使用主機系統的最佳 CUDA 和 cuDNN 版本編譯的 PyTorch，以及用於混合精度訓練的 Apex、用於高效注意力計算的 Transformer Engine 以及預配置的分散式訓練實用程式。
用於叢集編排的基本命令管理器
對於執行多個 DGX 系統的組織，DGX 作業系統與 Base Command Manager（以前稱為 Bright Cluster Manager）整合。該編排層透過 Slurm 或 Kubernetes 提供作業排程、多節點資源分配、使用者和組管理以及整個叢集的執行狀況監控。
基地命令管理器處理協調多節點訓練作業的複雜任務。當您提交需要跨四個 DGX 節點的 32 個 GPU 的訓練作業時，管理器會分配資源、配置網路結構、在每個節點上啟動程序並監視故障。如果 GPU 遇到錯誤，經理可以檢查訓練狀態並在健康的硬體上重新啟動作業。
對於喜歡 Kubernetes 的團隊，DGX 作業系統支援 NVIDIA GPU Operator 和 Network Operator，它們將 GPU 和高速互連公開為 Kubernetes 資源。這使得平臺團隊可以透過標準 Kubernetes API 提供自助式 AI 基礎設施，而 DGX 作業系統則可以處理底層特定於硬體的複雜性。
安全特性
企業人工智慧系統處理敏感資料和昂貴的計算資源，使安全性成為 DGX 作業系統的首要關注點。
安全啟動： DGX 作業系統驗證從韌體到核心到使用者空間的引導鏈的完整性。每個元件都經過加密簽名，防止載入被篡改的核心或 rootkit。這在多個團隊訪問相同硬體的共享環境中尤其重要。
加密儲存： 全磁碟加密開箱即用，可保護作業系統驅動器和高速 NVMe 儲存上的靜態資料。金鑰管理與 HashiCorp Vault 和硬體安全模組等企業系統整合。
網路隔離： DGX OS 支援細粒度的網路策略，將訓練作業彼此隔離並與管理流量隔離。 GPU-direct RDMA 流量流經專用 InfiniBand 分割槽，防止共享叢集上租戶之間的資料洩漏。
審計日誌記錄： 所有管理操作、GPU 分配和容器啟動都會記錄到防篡改審計跟蹤中。這些日誌與標準 SIEM 平臺整合以進行合規性監控。
開箱即用的效能調整
DGX 作業系統包括數百項效能最佳化，專家系統管理員需要幾周的時間才能手動實施。核心配置有最佳的 CPU 調控器設定、NUMA 感知記憶體分配和調整的網路堆疊引數。 GPU 持久模式預設啟用，消除了困擾標準 Linux 上開發工作流程的啟動延遲。大頁面是為 GPU 記憶體對映預先分配的。 IRQ 關聯性設定為最大限度地減少資料傳輸期間的 CPU 開銷。
結果是可衡量的。基準比較始終顯示，與執行 Ubuntu 並手動安裝驅動程式的相同硬體相比，DGX 作業系統的訓練吞吐量高出 5% 到 15%，這種差異經過多天的訓練後可以節省大量時間和成本。
誰需要 DGX 作業系統與標準 Ubuntu？
DGX 作業系統並不適合所有人，瞭解它何時能增加價值非常重要。如果您是一名單獨的研究人員，使用單個 GPU 在 Jupyter 筆記本上執行實驗，那麼帶有手動安裝的 CUDA 工具包的標準 Ubuntu 就完全足夠了。 DGX 作業系統的企業功能的開銷會增加複雜性，而沒有任何好處。
當您擁有多個 GPU 或節點時，當多個使用者共享硬體時，當您需要跨開發和生產的可重複環境時，或者當合規性要求強制要求安全功能（如安全啟動和稽核日誌記錄）時，DGX 作業系統就會變得引人注目。在這些場景中，節省的設定時間、減少配置偏差以及經過驗證的軟體堆疊帶來的安心感證明了投資的合理性。
聯想 ThinkStation PGX 上的 DGX 作業系統
在 DGX 生態系統的重大擴充套件中，NVIDIA 與聯想合作，將 DGX 作業系統引入 ThinkStation PGX，這是一款專為人工智慧開發而設計的工作站級系統。 ThinkStation PGX 將 NVIDIA GPU 與聯想的工作站設計、熱管理和支援基礎設施配對，而 DGX 作業系統則提供以前僅在 NVIDIA 品牌硬體上提供的軟體體驗。
這種合作關係很重要，因為它將企業人工智慧功能帶到了適合放在桌子下面的外形尺寸。需要 DGX 級軟體但無法證明資料中心機架合理的團隊現在可以在辦公環境中部署 ThinkStation PGX 系統，並在資料中心的 DGX 系統上執行相同的經過驗證的堆疊。
設定和第一步
DGX 作業系統的入門取決於您的硬體。在 NVIDIA DGX 系統上，作業系統是預安裝的。在 ThinkStation PGX 等受支援的合作伙伴硬體上，您可以透過 NVIDIA 企業門戶提供的可啟動 USB 映像安裝 DGX 作業系統。
安裝後，第一步是向 NVIDIA 的許可伺服器註冊系統，以啟用企業支援和 NGC 訪問。接下來，透過執行內建驗證套件來驗證 GPU 堆疊：
nvidia-smidgxos-validate --full
這會對驅動程式、庫、互連和儲存進行全面檢查。驗證透過後，拉取您的第一個 NGC 容器並執行基準測試以確認一切都按預期執行。從那裡，您可以配置使用者帳戶，設定 Slurm 或 Kubernetes 進行作業排程，並開始將您的 AI 工作負載載入到專門為執行它們而構建的平臺上。