セキュリティエージェント評価は「成功率」だけでは不十分 — コスト込みで見る攻防の非対称性

セキュリティ関連のAIエージェント評価は、これまで潤沢な推論予算のもとでの「最高到達点」――脆弱性発見、エクスプロイト開発、侵入テスト、CTF完答など――を測ることに偏りがちだった。しかし実運用のセキュリティ現場では、推論のステップ・ツール呼び出し・テレメトリ照会・情報エンリッチメントの一つひとつが予算を消費する。

評価の枠組み

本論文は、攻撃的なCybenchチャレンジと防御的なSplunk BOTS v1調査チャレンジの両方を対象に、「コストと成功率」の視点でLLMセキュリティエージェントを評価した。最良ケースの成功率だけでなく、一定のコスト水準でモデル同士を比較し、推論コストとツールコストのそれぞれに性能を分解している。

攻撃側と防御側で異なるスケーリング特性

結果からは、レッド（攻撃）チームとブルー（防御）チームのタスクで明確に異なるスケーリング傾向が見られた。攻撃的なCTFタスクの性能はテスト時計算量の追加によって向上し、スケールしたオープンウェイトモデルはコスト競争力を保ちながらフロンティアの独占モデルに迫ることができる。一方、防御的なSOC調査タスクは同じようにはスケールせず、成果は推論予算の大きさよりも、規律あるツール利用・テレメトリの読み解き・的確な情報エンリッチメントの選択に強く依存するという。

著者らは、セキュリティエージェントのベンチマークにおいて、タスク成功率と並んで経済効率や運用適合性を測るべきだと主張しており、評価結果を公開するインタラクティブサイトも提供している。