美國人工智慧晶片設計龍頭輝達將推出新AI晶片。路透社示意照
AI推論(inference)需求與其背後的經濟效益正急速成長!全新的獨立InferenceMAX v1是首個在真實場景中衡量總運算成本的基準測試。結果顯示,輝達 Blackwell 平台橫掃全場,為 AI 工廠實現無與倫比的效能與最佳整體效率。透過NVIDIA GB200 NVL72 投資 500 萬美元可創造 7,500 萬美元的 DSR1 詞元收益,提供 15 倍投資報酬率。
InferenceMAX v1 是 SemiAnalysis 周一的全新基準測試,NVIDIA GB200 NVL72 AI 工廠經濟效益來看,投資 500 萬美元可創造 7,500 萬美元的 DSR1 詞元收益,提供 15 倍投資報酬率。NVIDIA B200 的軟體最佳化在 gpt-oss 上實現每百萬詞元兩美分,於兩個月內降低詞元成本5 倍。
NVIDIA B200 在最新的 NVIDIA TensorRT-LLM 推疊上,每 GPU 可達每秒60,000 詞元,每使用者可達每秒 1,000 詞元。
輝達與 OpenAI(gpt-oss 120B)、Meta(Llama 3 70B)及 DeepSeek AI(DeepSeek R1)在開源領域的合作,展示了社群驅動模型如何推進推理與效率的最先進成果。而與 FlashInfer、SGLang 和 vLLM 社群的深度合作,使得共同開發的增強核心與運行時,能大規模驅動這些模型。
輝達超大規模與高效能運算副總裁 Ian Buck 表示,推論是 AI 每天創造價值的關鍵。這些結果證明,NVIDIA 的全端策略提供客戶在大規模部署 AI 時所需的效能與效率。