Mistral AI、単眼RGBカメラのみで動くロボットナビゲーションモデル「Robostral Navigate」を発表

Mistral AIは、ロボットの視覚言語ナビゲーション（Vision-and-Language Navigation）向けモデル「Robostral Navigate」を発表した。最大の特徴は、深度センサーやLiDAR、複数カメラといった追加のセンサー類を一切必要とせず、単眼のRGBカメラ映像のみで動作する点にある。

単一カメラでの高精度ナビゲーション

一般的なロボットナビゲーションシステムは、周囲の空間を正確に把握するために深度情報を取得するLiDARやステレオカメラ、複数視点のカメラ構成を組み合わせることが多い。これに対しRobostral Navigateは、パラメータ数80億のモデルで、通常のRGBカメラ映像だけを入力として自然言語の指示に従った移動経路の判断を行う。

代表的な視覚言語ナビゲーションのベンチマークであるR2R-CE（Room-to-Room Continuous Environments）において、同モデルは76.6%のスコアを記録したとされている。特別なハードウェア構成を前提としない設計は、実機ロボットへの導入コストやセンサー構成の複雑さを抑えられる可能性がある。

センサー簡素化がもたらす意味

深度センサーやLiDARを省略できることは、ロボットの製造コストや設置の手間を減らすだけでなく、既存の安価なカメラ搭載ロボットへの応用範囲を広げる観点からも注目される。Mistral AIは今回の発表を通じて、言語モデルの空間理解能力を活用したロボティクス応用に力を入れていく姿勢を示した形だ。