輝達執行長黃仁勳10月19日出席於柏林舉辦的「投資德國峰會」並發表談話。路透社
輝達與 Oracle 今天宣布,計劃將搭載 NVIDIA Vera Rubin NVL72 系統的 Oracle Cloud Infrastructure(OCI)Supercluster 擴展至數百萬瓩規模,以滿足客戶對人工智慧(AI)訓練、推論及代理型應用日益成長的需求。
Oracle 與 NVIDIA 亦進一步擴大雙方在 AI 基礎設施領域的合作,NVIDIA Vera Rubin NVL72 與 NVIDIA Vera CPU 現已在 OCI 上正式開放使用。
這次擴大合作將為客戶提供所需的基礎設施,不僅支援高度仰賴 GPU 的前沿模型訓練與模型服務工作,也能處理代理在模型呼叫之間執行的 CPU 密集型任務,包括執行工具、測試程式碼及擷取資料。客戶可依據工作負載需求,分別擴展 CPU 與 GPU 資源,有助於減少閒置運算資源,並提高基礎設施的使用效率。
OCI Superclusters 結合 NVIDIA NVL72 機架級系統、搭配 NVIDIA Spectrum-X 乙太網路的 Oracle Acceleron 網路技術,以及數百萬瓩級的電力與冷卻系統,以支援最大規模 AI 模型的訓練與服務。NVIDIA Spectrum-X 乙太網路採用 NVIDIA Spectrum-6 交換器與 NVIDIA BlueField-4 DPU。每個機架透過 NVIDIA NVLink 垂直擴展網路連接 72 顆 GPU,而 OCI 具備韌性的多平面網路則可水平擴展至數十萬顆 GPU。
規劃中的 Vera Rubin 擴展計畫,是以 OCI 現有的 NVIDIA 加速基礎設施為基礎,包括 NVIDIA GB200 與 GB300 NVL72 系統。NVIDIA 共通的 CUDA® 軟體基礎及持續進行的軟體最佳化,有助於客戶在不同世代的硬體上,支援不斷演進的模型與工作負載。
OCI 亦計劃導入 NVIDIA HGX Rubin NVL8,在採用 x86 架構的伺服器配置中,透過 NVLink 連接八顆 Rubin GPU。
這項規劃中的平台搭載兩顆各具 64 核心的 Intel Xeon 6 CPU、4TB DDR5 記憶體,以及頻寬達 6.4 Tbps 的高速 RDMA 網路,為 AI 訓練、微調及推論提供彈性的部署選項。HGX Rubin NVL8 讓客戶能以較小規模的八 GPU 配置採用新一代 Rubin GPU 技術,同時維持與 x86 架構應用程式的相容性。
這項彈性讓客戶能隨著需求演變,調整 AI 基礎設施以因應不同模型與工作負載,並透過在訓練與推論作業中皆運用加速運算能力,進一步提升基礎設施投資的使用效益。