NVIDIA、推論ソフトウェアスタックでトークン単価の最小化を推進

NVIDIAは公式ブログで、AI導入が実験段階から本格的な運用フェーズへと移行する中、インフラ投資の判断基準が変化していると述べている。従来重視されてきたチップのピーク性能ではなく、「トークン単価」――すなわち1ドルあたり、1ワットあたり、そして要求されるレイテンシ内でどれだけ多くの有用なトークンを生成できるかが、企業のインフラ選定における重要な指標になっているという。

トークン単価という新しい評価軸

生成AIをパイロット導入から本番の「AIファクトリー」として稼働させる企業が増えるにつれ、単純な演算性能の比較よりも、実運用コストに直結する効率性が重視されるようになった。NVIDIAは、GPU単体のスペックだけでなく、システム全体でどれだけコスト効率よく推論を提供できるかが競争力の鍵になると位置づけている。

GPU・CPU・ネットワークの協調設計

NVIDIAは、GPUだけでなくCPU、ネットワーク機器、システム全体を協調設計（codesign）することで、推論ワークロードの効率を高めていると説明している。さらに、幅広いオープンソースソフトウェアエコシステムとの連携を強化することで、推論スタック全体としての最適化を進めているとしている。

今後の展望

本発表は、AIインフラのコスト構造が「ピーク性能」から「実運用効率」へとシフトしていることを示す一例といえる。企業が生成AIを大規模に本番展開する上で、トークンあたりのコストは今後さらに重要な調達基準になっていくとみられる。