「言葉は安全でも行動は危険」——LLMの隠れ状態から身体的リスクを検知する手法PRISM

LLM（大規模言語モデル）は近年、ロボットなど身体を持つエージェントの高レベルプランナーとして利用されるケースが増えている。しかし「テーブルを片付けて」のような言語的には全く問題のない指示でも、物理世界に落とし込んだ際に危険な行動（熱い鍋を素手で運ぶ、割れ物を落とすなど）につながることがある。本論文は、こうした「物理的危険（Physical Danger, PD）」が、従来のコンテンツモデレーションが扱う「テキスト上の危険（Content Danger, CD）」と本当に同じ問題なのかを検証したものだ。

隠れ状態でCDとPDは分離できる

研究チームはQwen2.5シリーズ（3B/7B/14B/32B）、Phi-3.5、SmolLM2といった複数のLLMについて、隠れ状態（hidden states）の方向分析とランダム分割によるnullテストを実施。その結果、CDとPDはLLMの内部表現において分離可能な別のシグナルとして存在することが分かった。つまり、モデルは「言葉として危険かどうか」と「物理的に危険かどうか」を異なる形で内部表現していることになる。

軽量プローブ「PRISM」の提案

この分離可能性を踏まえ、著者らは単一層のL2正則化ロジスティック回帰による軽量なプローブ「PRISM」を提案した。フルの隠れ状態に対して線形分類を行うだけのシンプルな手法だが、既存のSafeAgentBenchベンチマークで86.2〜87.7%の精度、11.7〜13.7%の誤検知率（FPR）を達成した。一方、同規模のLLMを判定器として使う手法（LLM-as-a-judge）は24.7〜39.0%と高いFPRで、安全なタスクを過剰にブロックしてしまう傾向が見られた。

危険ワードを含まないベンチマークPSB-1Kでも高精度

さらに、直接的な有害キーワードを含まない1,000件の物理リスク対比ペアからなる新ベンチマーク「PhysicalSafetyBench-1K（PSB-1K）」を構築し、手法が表面的な単語ではなく実際の物理的危険性を検出しているかを検証した。PRISMはPSB-1Kで99.6%の精度、0.7%という低FPRを達成した一方、Qwen2.5-3Bを判定器として使った場合は安全なタスクの67.8%を誤って拒否した。PRISMはSafeTextやEARBenchといった他のベンチマークでも一貫した性能を示し、隠れ状態プロービングがテキストモデレーションを超えた物理安全性の表現レベルでの検知手法として有効であることが示唆された。