セキュリティAIエージェント評価、成功率だけでなく「コスト対効果」重視へ

AIセキュリティエージェントの性能評価は従来、潤沢な推論予算のもとでの「最高性能」——脆弱性発見やエクスプロイト開発、ペネトレーションテスト、CTF完答率——を測ることに主眼が置かれてきた。しかし実際の運用現場では、推論ステップ、ツール呼び出し、テレメトリ照会、情報エンリッチメントの一つひとつがコストとして積み重なる。今回の研究は、この「コストと成功率」の視点から、攻撃側のCybenchチャレンジと防御側のSplunk BOTS v1調査チャレンジを用いてAIエージェントを評価した。

コストを固定して比較する新しい評価軸

研究チームは、最良ケースの成功率だけを報告するのではなく、一定のコスト水準でモデル同士を比較し、性能を推論コストとツール利用コストに分解して分析した。これにより、単純な「どのモデルが最も強いか」ではなく「同じ予算でどのモデルが最も効率的か」という、実運用に即した比較が可能になる。

攻撃タスクと防御タスクで異なるスケーリング傾向

分析の結果、レッドチーム（攻撃）タスクとブルーチーム（防御）タスクでは、性能のスケーリングの仕方が明確に異なることが明らかになった。攻撃側のCTFタスクではテスト時の計算量を増やすほど性能が向上し、十分にスケールさせたオープンウェイトモデルは、コスト面で優位を保ちながら最先端の商用システムに迫る性能を発揮できる。

一方、防御側のSOC（セキュリティオペレーションセンター）調査タスクは同様のスケーリングを示さない。成功の鍵は単純な推論予算の大きさよりも、規律あるツール利用、テレメトリのナビゲーション、選択的な情報エンリッチメントといった能力に強く依存していた。

経済効率と運用適合性を評価基準に

研究チームは、セキュリティエージェントのベンチマークにはタスク成功率に加え、経済的効率性や運用現場への適合性を測る指標が必要だと主張する。コストを考慮しSOC環境に即した評価手法により、現時点でどのモデルが実務的に有用か、そして防御用エージェントがどこで改善を要するかがより明確になるという。研究成果はインタラクティブなウェブサイト（evals.frontier.security）でも公開されている。