言語モデルの事前学習データ、公開コメント欄経由で汚染される恐れ

言語モデル（LM）の事前学習データに悪意あるコンテンツを混入させる「データ汚染（data poisoning）」は、検知や対策が難しい有害な挙動をモデルに埋め込みかねない問題として知られている。しかし従来の研究は、Wikipediaのような整備されたデータソースを対象にすることが多く、実際の事前学習コーパスが持つ大規模さや多様性を十分に反映していなかった。また、汚染データがWebクロールやデータキュレーションのパイプラインとどのように相互作用するかも、ほとんど検討されてこなかった。

公開討論インターフェースという攻撃経路

本研究は、こうした限定的な設定を超えて、既存のWeb規模コンテンツ注入手段――すなわち掲示板やコメント欄といった「公開討論インターフェース」――を通じても、事前学習データへの汚染攻撃が実行可能であることを示した。これらのインターフェースは誰でも投稿できるため、悪意ある第三者が意図的にコンテンツを注入する余地がある。

新手法「HalfLife」による残存率の推定

さらに、Webクロールとデータキュレーションを経た後も悪意あるコンテンツが実際に訓練データへ含まれ続けるかどうかを測定するため、研究チームは新たな分析手法「HalfLife」を導入した。これはWebクロールベースのLM訓練データにおける敵対的コンテンツの残存度を推定するもので、この手法を用いて公開討論インターフェース経由でのWeb規模の汚染がどこまで現実的かを検証している。

意義

分析結果は、汚染注入が実際に事前学習データに含まれているかどうかを推定することの重要性を示すとともに、サードパーティのWebページコンテンツが言語モデルの事前学習を攻撃する新たなベクトルとなり得ることを明らかにした。これは、大規模コーパスを構築する際のデータキュレーションプロセスにおいて、公開性の高いコンテンツソースへの警戒がこれまで以上に必要であることを示唆している。