NVIDIA、LLM推論構成を高速探索するシミュレータ「DynoSim」を発表

NVIDIAは開発者ブログで、LLM推論サービングの構成最適化を支援するシミュレーションツール「DynoSim」を紹介しました。

背景：複雑化するLLMサービングの構成選択

現代のLLM推論システムは、単一のパラメータだけでなく複数の選択が絡み合うスタック構造になっています。具体的には以下のような要素が相互に影響し合います。

• 使用するモデルバックエンド
• テンソル並列（Tensor Parallel）の形状
• prefill（プロンプト処理）とdecode（トークン生成）の分割方法
• ワーカーの配置構成

これらの組み合わせは膨大な数に上り、実機でのベンチマークだけでは最適な構成を見つけるのに多大な時間とコストがかかります。特にスループットとレイテンシのトレードオフ（パレートフロンティア）を把握するには、多数の構成を比較検討する必要があります。

DynoSimによるパレートフロンティアの可視化

DynoSimは、こうした構成空間を実際にデプロイすることなくシミュレーションし、スループットとレイテンシの間のパレート最適な組み合わせを特定できるツールです。これにより、開発者は実際のハードウェアリソースを消費する前に、有望な構成の候補を絞り込むことが可能になります。

LLM推論の運用コストが増大する中で、こうしたシミュレーションベースのアプローチは、限られたGPUリソースを効率的に活用しつつ、最適なサービング構成を見つけ出す手段として注目されます。