SceneBind：視覚・音声・言語を横断し「何が」「どこに」あるかを同時に捉えるマルチモーダル表現

視覚・音声・言語を統合的に扱う「オムニモーダル」なAIモデルは、シーン内に「何が」存在するかを認識する能力に優れる一方で、それが「どこに」あるかという空間的な構造を捉えるのが苦手という課題を抱えていた。この課題に対し、意味理解と空間理解を同時に扱う新たな表現手法「SceneBind」が提案された。

意味と空間を分離せず統合表現する

SceneBindは、各シーンをシーン全体を表す「グローバルな意味埋め込み」と、物体ごとの意味・空間情報をまとめた「オブジェクト中心のスロット」の組み合わせとして表現する。これにより、物体レベルの意味情報だけでなく、空間的な属性やその不確実性までも明示的に捉えることが可能になる。

さらに、シーン全体の類似度と物体単位の対応関係を統合した照合手法「SceneBind Matching」も同時に提案されている。これにより、モダリティを横断したシーン検索や、テキストなどから対応する物体を特定するグラウンディングといったタスクに対応できる。

新規データセットと学習手法

SceneBindの学習・評価のため、研究チームは構造化された意味・空間アノテーションを付与した、実世界のバイノーラル（両耳）音声・映像データセットを新たに構築した。加えて、モダリティ間で意味信号と空間信号を整合させるための学習プロトコルも考案している。

この手法の特徴は、既存の大規模事前学習済み意味エンコーダーとの互換性を保ちつつ、少数の追加トークンのみで軽量な空間モデリングを付加できる点にある。実験では、シーン検索および空間検索タスクで既存手法を上回る性能を示したほか、音声・映像を用いた位置特定（audio-visual localization）などの下流タスクへのゼロショット転移においても高い有効性が確認された。