「公開討論の場」を通じた事前学習データ汚染の脅威 — HalfLifeによる検証

事前学習データへのポイズニング（汚染）攻撃は、検出も緩和も難しい有害な挙動をモデルに埋め込みうることが知られている。しかし従来の研究の多くは、Wikipediaのような編集管理された限定的なデータソースを対象にしており、実際の事前学習コーパスが持つ大規模・多様なスケール感を反映していなかった。

何が新しいのか

この論文は、既存のWebスケールのコンテンツ注入経路――すなわち一般に開かれた「公開討論インターフェース」（掲示板やコメント欄など）――を通じて、より現実的な条件下でも事前学習データの汚染が可能であることを実証した。あわせて、Webクロールとデータキュレーションのパイプラインを経た後でも悪意あるコンテンツが実際に学習データへ混入しているかどうかを推定する新しい分析手法「HalfLife」を提案している。

意義

著者らはHalfLifeを使い、公開討論インターフェース経由でWebスケールの事前学習コーパスを汚染することの実現可能性を検証。ポイズニングされたコンテンツが実際に学習データへ含まれているかどうかを見積もることの重要性を示すとともに、サードパーティのWebページコンテンツが言語モデルの事前学習を攻撃する現実的な経路になりうることを指摘している。データキュレーションパイプラインの設計において、無視できないリスクとして扱うべき知見といえる。