NVIDIAら、ロボット基盤モデルのコンテキスト長を8000ステップに拡張する「RoboTTT」を発表

NVIDIAの研究チーム（GEAR Labs）は、ロボット基盤モデルの視覚運動コンテキスト（visuomotor context）を大幅に拡張する新手法「RoboTTT（Test-Time-Training Robot Policies）」を発表した。従来のロボット基盤モデルは単一ステップまたは短い履歴しか扱えなかったが、RoboTTTは8000タイムステップという、既存手法の1000倍に相当するコンテキスト長を、推論時のレイテンシを増やすことなく実現したとしている。

Test-Time Trainingで長い履歴を「重み」に圧縮

RoboTTTの中核は、Test-Time Training（TTT）をVision-Language-Action（VLA）ポリシーのようなロボット基盤モデルに組み込んだ点にある。これにより、シーケンスモデルの内部状態を「fast weights」と呼ばれるパラメータ群として保持する。fast weightsは学習時だけでなく推論実行中も勾配降下法によって更新され、過去の行動履歴を重み空間に圧縮しつつ、必要な文脈情報を長期コンテキストの条件付けとして取り出す仕組みになっている。

また、長いコンテキストでの学習を可能にするため、シーケンス行動を強制的に学習させる手法（sequence action forcing）と、時間方向の打ち切り誤差逆伝播（truncated backpropagation through time）を組み合わせた学習レシピを採用している。

長いコンテキストが可能にする新機能

コンテキスト長の拡張により、これまで難しかった以下のような能力が実現されたという。

• 人間の動画デモンストレーションからの1回限りの文脈内模倣（one-shot in-context imitation）
• 実行中のオンザフライなポリシー改善
• 外乱や妨害に対するロバスト性の向上
• 複数段階にわたる長期タスクでの性能向上

研究チームは、事前学習時のコンテキスト長を増やすほど、閉ループ制御の性能が着実に向上する現象を初めて観測したとしている。

実機実験での成果

実際のロボットによる操作タスクの評価では、RoboTTTは単一ステップのコンテキストを用いるベースライン手法に比べ、全体性能を87%向上させた。さらに、5分間・10段階からなる組み立てタスクを完全に達成できたのは、比較対象のベースライン手法の中でRoboTTTのみだったという。

また、8000タイムステップのコンテキストで事前学習したRoboTTTは、同じモデルを1000タイムステップで事前学習した場合と比べて62%性能が向上した。この結果から、研究チームはコンテキスト長がロボット基盤モデルにおける新たなスケーリング軸となりうると述べている。デモ動画はNVIDIAの研究プロジェクトページで公開されている。