エージェント型検索では「静的に無関係な文書」の3割が実は検索の道しるべになっている

検索システムの性能は通常、「文書と質問をリーダーモデルに与えて回答が改善するか」という静的な指標で評価・学習される。しかし、LLMが複数回のクエリ発行と推論を繰り返す検索エージェントとして働く場合、この前提は崩れる可能性がある。ある文書は「その内容が現在の質問にどう答えるか」ではなく「エージェントが次に何をできるようになるか」という点で価値を持つことがあるためだ。本論文は、この静的評価と実際の因果的有用性のギャップを定量的に測定した。

反実仮想による検証手法

研究チームはHotpotQAの開発用質問1000問に対し、ReAct方式の検索エージェントを走らせ、エージェントが読んだすべての文書について「その文書を削除して以降の軌跡を再実行する」という反実仮想実験を行った。オリジナルの実行結果と反実仮想の結果を比較し、最終回答の質・次のクエリの検索品質・ターン数という3つの差分から「反実仮想軌跡有用性（Counterfactual Trajectory Utility, CTU）」というスコアを算出した。

静的評価と因果的評価はほぼ無相関

23,322件の文書観測データに対し、CTUと従来の「静的RAG有用性（Static RAG Utility, SRU）」を突き合わせたところ、両者はほぼ統計的に独立していた（スピアマン相関係数 ρ = -0.026）。さらに、エージェントが読む文書のおよそ3分の1は、静的な評価では無関係に見えるにもかかわらず因果的に重要な役割を果たしていることが判明した。研究チームはこれを「ブリッジ文書」と呼ぶ。この傾向は、リーダーモデルベースの評価軸をBM25とクロスエンコーダによる代理評価に置き換えても再現され、均等に分布した軸上でブリッジ文書の割合は27.2%だった。

メカニズム：識別的エンティティが次のクエリを導く

2つ目の実験では、先行研究の「観測可能エンティティ関連性（Observable Entity Relevance, OER）」という指標を用いて、そのメカニズムを分析した。関連文書と非関連文書を区別する識別的エンティティは、非関連文書のみに現れるエンティティと比べて、エージェントの次のクエリに4.02倍多く出現していた（6.1%対1.5%、n=227,139）。つまりブリッジ文書は、エージェントに検索方向を転換させる識別的エンティティを提供することで価値を発揮している。

本研究は、静的な関連性と検索エージェントにおける実際の有用性は異なる量であり、前者を最適化しても後者の向上には必ずしもつながらないことを示している。検索システムの学習・評価方法を見直す必要性を示唆する結果だ。