ArmのKleidiAI、Google AI EdgeのMediaPipeに統合されLLM推論を高速化

Armは、AI推論向けに最適化された演算カーネル群「KleidiAI」を、Google AI Edgeのモデル推論フレームワーク「MediaPipe」に統合したことを発表した。統合は、MediaPipeが内部で利用する高速な行列演算ライブラリ「XNNPACK」を経由して行われ、Armベースのモバイル・エッジデバイス上での大規模言語モデル（LLM）推論の性能向上を狙うものだ。

KleidiAIとMediaPipeの役割

KleidiAIは、Armアーキテクチャ上でのAIワークロード実行を高速化するために設計された、オープンソースのソフトウェアライブラリ群である。行列積演算などAI推論の中核処理をArm CPUの命令セットに合わせて最適化することで、開発者が個別にチューニングを行わずとも性能向上を得られるようにすることを目的としている。

一方のMediaPipeは、Googleが提供するオンデバイスAI・機械学習パイプライン構築フレームワークで、画像認識や自然言語処理を含む多様なモデルの推論をエッジデバイス上で実行するために広く利用されている。今回、MediaPipeが依存するXNNPACKにKleidiAIが組み込まれたことで、MediaPipe上で動作する数多くのLLMがArmデバイス上でより高速に推論できるようになるという。

エッジAIへの波及効果

この統合により、開発者側で追加の作業をすることなく、Arm搭載のスマートフォンやIoT機器などで動作するAIアプリケーションの応答速度や効率が向上することが期待される。生成AIモデルのオンデバイス実行が急速に広がる中、ハードウェアベンダーとフレームワーク開発元の連携によるソフトウェアスタック全体での最適化が、エッジAIの実用性を左右する重要な要素となっている。