生成式AI 運算需求大增,也讓 AI 伺服器出貨量持續上升中。業者提供
ChatGPT 爆紅讓 AI 伺服器需求大爆發!從今年開始,AI 伺服器幾乎可以用瘋狂出貨來形容。根據研調機構預估,從2022年至2026年,AI 伺服器出貨量將以22%年複合成長率上升。
TrendForce 研究數據顯示,預估2023年 AI 伺服器(包含搭載GPU、FPGA、ASIC等)出貨量近120萬台,年增38.4%,占整體伺服器出貨量近9%,到2026年將占15%。預估2022~2026年AI伺服器出貨量年複合成長率至22%。
國內目前已投入 AI 伺服器的生產製造業者包括鴻海、廣達、緯創、英業達、、神達、技嘉、環鴻、仁寶、和碩、緯穎等;以及總部位於美國聖荷西的 Supermicro(美超微)也積極投入 AI 伺服器市場。
上述 PC、伺服器大廠皆於5月底Computex電腦展發表新品!例如技嘉G593-SD0,採用 NVIDIA H100 8-GPU,採用該公司領先業界的氣冷散熱技術,能在緊密的5U伺服器機箱內,高速處理深度學習模型訓練、生成式AI等極度繁重的工作負載。還有廣達旗下的雲達科技也採用 NVIDIA MGX 架構搭配 Grace Hopper Superchip 打造出 HPC-AI 伺服器,可進行大規模AI推理運算。
技嘉在今年Computex電腦展推出G593-SD0伺服器,採用NVIDIA H100 8-GPU,能應付生成式AI等繁重的工作負載。技嘉提供
TrendForce 表示,目前 NVIDIA GPU 為 AI 伺服器市場搭載的主流,其次為雲端業者自主研發的 AISC 晶片。由於 NVIDIA 產品在 AI 伺服器市場已擁有主導權優勢,其新款 H100 晶片本身的價差也依據買方採購規模,會產生近5000美元的差異。隨著各種AI運算需求倍增,預估今年搭載 A100 及 H100 的 AI 伺服器出貨量年增率逾5成。
DIGITIMES Research 分析師蕭聖倫則指出,AI 伺服器需求上升有利於IT市場。許多原本計劃在2023年削減資本支出的公司,在通貨膨脹和俄烏戰爭導致的經濟低迷中,最終決定保留購買 AI 伺服器的預算。由於 AI 伺服器的價格昂貴,通常是非 AI 伺服器的N倍以上,因此與購買非AI模型相比,企業以相同的金額採購的數量要少得多,這可能會導致未來幾季的整體伺服器出貨量趨緩。
此外,由於NVIDIA的 A100/H100 缺貨情形遠大於預期,預估今年能夠運行生成式AI 的高階 AI 伺服器僅佔全球伺服器出貨量的不到1%,相當於10萬至15萬台的出貨量。DIGITIMES Research最新數據指出,預估到了2024 年,AI 伺服器市場量將攀升1~2%至15萬甚至超過20萬台。