LLMの確率推定は「足し算」が合わない？ 統計的自己無矛盾性の検証で明らかになった「マクロの誤謬」

大規模言語モデル（LLM）へのin-context learning（文脈内学習）は、しばしば「条件付き推論」の一種として解釈される。つまり、プロンプトが特定の条件（コンテキスト）を指定し、モデルの出力はその条件下での確率分布の推定値とみなされる。この解釈が正しいなら、LLMの推定値は確率論の基本的な公理を満たすはずだ。特に「全確率の法則」は、母集団をどのように部分集団に分割しても、事前確率で重み付けした条件付き分布を集約すれば元の母集団レベルの分布に一致する、と主張する。

本研究は、LLMの推定値がこの「自己無矛盾性（self-consistency）」の原則にどこまで従っているかを検証した。

二分木による評価手法

研究チームは、母集団を段階的により細かい部分集団へと再帰的に分割する「二分木」を評価の枠組みとして用いた。各部分集団の説明を言語化してLLMにプロンプトとして与え、得られた推定値を再び母集団レベルへと集約する。この集約結果を、分割の粒度（木の深さ）が異なる複数の条件で比較することで、モデルの推定が粒度に依存せず一貫しているかを調べた。

複数の問題領域と最先端のフロンティアモデルにこの手法を適用した結果、基本的な整合性の性質に対する広範な違反が確認された。

「マクロの誤謬」とは

特にペルソナ（人物像）を用いたプロンプトについて詳しく調べたところ、研究チームが「マクロの誤謬（macro fallacy）」と呼ぶパターンが見つかった。これは、より細かく分割した部分集団への回答から再構成した推定値の方が、母集団全体に対する直接的な推定値よりも、人間の参照データとの整合性が高いという現象である。

この効果は、木の構造や推定タスクを変えても一貫して観察され、暗黙的なプロンプト（implicit prompting）によって部分的に是正できることも示された。

モデルは知識を持つが集約できない

これらの結果は、LLMが関連する部分集団に関する知識を内部に持っているにもかかわらず、それを集約推定へと確実に反映できていないことを示唆している。研究チームは、この「知識と集約のギャップ」こそが、正解データを必要とせずにLLMを評価できる新たな基準——統計的自己無矛盾性——として活用できると結論づけている。