AutoSynthesis:メタ分析を自動化するマルチエージェントAIシステム
研究論文の系統的レビューから統計的統合までを一貫して自動化するマルチエージェントシステム「AutoSynthesis」が発表された。専門家によるメタ分析と近い結果を再現できることが示された。
科学・医療・教育・政策分野において、複数の研究結果を統合して信頼できる知見を導き出す「エビデンス統合(メタ分析)」は極めて重要だが、これまで多くは手作業に依存しており、スケールしにくい作業だった。今回発表されたAutoSynthesisは、この一連のプロセスをエンドツーエンドで自動化するマルチエージェントAIシステムである。
システムの仕組み
AutoSynthesisは、自然言語で入力された研究疑問(リサーチクエスチョン)を受け取ると、以下の工程を自動的に実行する。
- 検索戦略の立案と科学文献の検索
- 候補研究のスクリーニング
- 全文を確認した上での採否判定(適格性評価)
- 定量的な統計データの抽出
- 標準化された効果量の算出
- ランダム効果モデルによるメタ分析の実施
さらに、モデレーター変数による効果量のばらつきを調べる異質性分析(heterogeneity analysis)や、研究のバイアスリスク評価にも対応する。出力結果は、メタ分析の報告基準であるPRISMAガイドラインに準拠した透明性の高いレポートとして生成される。
検証結果
実際の適用例では、AutoSynthesisは28件以上の研究をスクリーニングし、20件以上の定量的な知見を抽出した。算出された統合効果量(pooled effect estimate)は、専門家が手作業で行ったメタ分析のHedges' g値と近似しており、人手によるエビデンス統合との高い一致度が確認された。
この結果は、AutoSynthesisのようなAIエージェントシステムが、定量的なエビデンス統合をよりスケーラブルにし、分野を横断したエビデンスに基づく意思決定を支援しうることを示している。
原文ソース
arXiv