Arm、Neoverse CPU上でLlama 3.3 70Bが効率的に推論可能とベンチマーク結果を公表

Armは公式ブログで、Meta社の大規模言語モデル「Llama 3.3 70B」をArm Neoverseアーキテクチャベースのクラウド向けCPU上で推論実行した際の性能・効率性を示す5つのベンチマーク結果を公開しました。

発表の概要

近年、大規模言語モデル（LLM）の推論処理は主にGPUで行われることが一般的ですが、Armは自社のNeoverse CPUコアがLlama 3.3 70Bのような700億パラメータ級のモデルでも十分な性能と効率性を発揮できると主張しています。今回のベンチマークは、クラウドデータセンター向けに設計されたNeoverseベースのCPUが、AI推論ワークロードにおいて有力な選択肢となり得ることを示す狙いがあるとみられます。

CPU推論の意義

GPUは並列演算に優れる一方でコストや調達面での制約もあり、既存のCPUインフラを活用した推論は、コスト効率やインフラの柔軟性の観点から注目されています。Armは、Neoverseベースのサーバー向けCPUがクラウド事業者やエンタープライズ向けのAIサービスにおいて、既存のCPUリソースを活用しつつ大規模モデルの推論を実現する選択肢になり得ると位置付けています。

今後の展望

ArmはCPUアーキテクチャの継続的な最適化により、AIワークロード、特に推論分野での採用拡大を目指しているとみられます。GPU中心のAIインフラ構築が進む中、CPUベースの推論効率向上は、コストや電力効率を重視する企業にとって選択肢の幅を広げる動きと言えます。