OpenAI、自動レッドチーミングシステム「GPT-Red」を発表 セルフプレイでAIの堅牢性を強化

OpenAIは、AIモデルの安全性を継続的に検証・改善するための自動レッドチーミングシステム「GPT-Red」を発表した。従来、レッドチーミング（脆弱性を発見するための攻撃的検証）は人間の専門家チームが手動で行うことが多く、時間とコストがかかる作業だった。GPT-Redはこのプロセスを自動化し、AI自身が攻撃役と防御役の両方を担うセルフプレイの仕組みを取り入れている点が特徴だ。

セルフプレイによる自己改善の仕組み

GPT-Redは、攻撃側のAIがモデルの弱点を突くような入力を生成し、それに対して防御側のモデルが応答するというサイクルを繰り返すことで、AIシステムが自らの脆弱性を発見し改善していく。人間が想定しきれない攻撃パターンをAI自身が探索することで、従来の手動テストでは見逃されがちだった問題を発見できる可能性がある。

対象となる脆弱性領域

この取り組みは特に、アラインメント（AIの振る舞いを意図した方向に保つこと）や、プロンプトインジェクション（悪意ある入力によってAIの指示を書き換えようとする攻撃）への耐性向上を目指している。プロンプトインジェクションは近年、AIエージェントが外部ツールやウェブ上の情報にアクセスするケースが増えるにつれて注目されているリスクであり、GPT-Redのような自動化された検証手法の重要性が増している。

今後の展望

OpenAIは、こうした自動化されたレッドチーミングの仕組みを継続的に発展させることで、AIモデルの安全性評価をスケールさせる方針を示している。人間の専門家による監督と組み合わせることで、より広範かつ効率的な脆弱性の発見・対処が可能になるとしている。