論文の改訂履歴から学ぶ科学図表編集AI「SciDiagramEdit」
arXivの論文改訂履歴から図表の修正前後ペアを収集し、自然言語指示に基づく科学図表編集を自動化するベンチマークとフレームワーク「SciDiagramEdit」が提案された。編集可能なベクター形式の図を対象に、実行履歴から編集スキルを継続的に洗練させる手法により、検証データでの編集精度が向上することが示された。
研究論文の図表を修正する作業は、著者にとって日常的でありながら手間のかかる工程だ。ラベルの付け替え、パネルの再配置、見た目のスタイル変更など、原稿の改訂のたびに繰り返される。これを自然言語の指示だけで自動化しようとする試みは、これまで大きな壁にぶつかってきた。科学図表は、模式図・グラフ・写真・キャプション・矢印といった異質な要素が、特定の論点を伝えるために緻密な視覚文法のもとで組み合わされた「密度の高いインフォグラフィック」だからだ。
この課題に対し、arXivの論文バージョン履歴から図の「改訂前・改訂後」のペアを収集し、著者自身の改訂意図に基づくベンチマーク「SciDiagramEdit」が提案された。単なる画像編集ではなく、図の編集可能なベクター形式のソースを対象とすることで、ユーザーが個々の描画要素をエージェントと一緒に確認・共同編集できる仕組みになっている。
スキル進化による指示の多様性への対応
編集指示は「ラベルを直す」「凡例を移動する」など内容が非常に多様であるため、研究チームは「エージェント的学習(agentic learning)」というアプローチを採用した。具体的には、実行の履歴(トレース)をもとに、提案役のエージェントがタスク実行エージェントのスキル仕様を複数回にわたって継続的に改善していく「スキル進化」の枠組みを構築している。
検証結果と意義
この手法によって獲得されたスキルは、未知の検証データセットにおいて編集精度を段階的に向上させることが確認された。これは、実際の論文改訂という自然なデータが、指示に基づく図表編集タスクの学習信号として有効であることを示す結果だといえる。図表編集の自動化は研究執筆の効率化に直結するテーマであり、今後の研究支援ツールへの応用が期待される。
原文ソース
arXiv