Arm 推全球首個 Armv9 邊緣 AI 運算平台　AWS研華合作夥伴入列

Arm今天發布Arm v9 邊緣人工智慧 （AI）運算平台，以全新的 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，可支援運行超過 10 億個參數的邊緣端 AI 模型。亞馬遜（AWS）、西門子、瑞薩電子、研華和 Eurotech合作夥伴均將採用最新AI運算平台。

OEM 廠商切需要快速推出解決方案，以因應物聯網應用不斷攀升的運算需求，相關需求包括自動駕駛汽車在工廠環境中的精準導航、智慧相機透過軟體升級以靈活調整功能，以及建構能夠提供更自然 AI 互動體驗的人機界面。

Arm 新運算平台整合了全新的超高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的 Ethos-U85 NPU，打造出全球首個專為物聯網優化的 Armv9 邊緣 AI 運算平台。相較於去年推出的基於 Cortex-M85 的平台，新的邊緣 AI 運算平台的機器學習（ML）效能提高了八倍。

Cortex-A320 充分發揮了 Armv9 架構的優勢，例如針對 ML 效能的 SVE2。相較於前代產品 Cortex-A35，Cortex-A320 的 ML 效能提升了十倍，純量效能提升了 30%。Armv9.2 架構還為最小的 Cortex-A 裝置帶來了先進的安全功能，例如指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）。

邊緣 AI 普及所面臨的最主要障礙之一就是軟體發展和部署的複雜性，這正是 Armv9 邊緣 AI 運算平台軟體生態系可展現優勢的關鍵所在。Arm 將 Arm Kleidi 擴展到物聯網，這是一套針對 AI 框架開發人員的運算庫，其目標在於優化基於 Arm CPU 的 AI 和 ML 工作負載，無需開發人員額外操作。

KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速了 Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上運行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升。