Qwenチーム、大規模言語モデルの強化学習を安定化する新アルゴリズム「GSPO」を発表

強化学習（RL）は、言語モデルのスケーリングや深い推論・問題解決能力の向上において重要な役割を担う手法として注目されている。しかし、RLを大規模化する上での大前提となるのが、訓練の安定性と頑健性の確保である。Qwenチームは今回、既存の代表的なRLアルゴリズムであるGRPO（Group Relative Policy Optimization）が長時間の訓練中に深刻な不安定性を示し、最終的に「モデル崩壊（model collapse）」と呼ばれる不可逆的な性能劣化を引き起こすことを観察したと報告している。この問題は、計算資源を増やしてもさらなる性能向上を妨げる要因になっているという。

GRPOが抱える不安定性の問題

GRPOは、複数の出力候補をグループ化し相対的な報酬に基づいてポリシーを更新する手法として広く使われてきた。しかし、Qwenチームによれば、この手法は長期的な訓練において訓練プロセスが不安定化しやすく、一度崩壊が生じるとモデル性能が回復不能になるケースがあるという。RLによるスケーリングを実現するには、こうした不安定性の根本的な解消が不可欠であるとしている。

新手法「GSPO」の提案

この課題に対応するため、Qwenチームは新たなアルゴリズム「Group Sequence Policy Optimization（GSPO）」を提案した。GSPOは、GRPOで見られた訓練の不安定性を解消し、より頑健で安定した学習ダイナミクスを実現することを目指した設計になっているという。名称が示す通り、系列（シーケンス）単位でのグループ的な方策最適化を行うアプローチを採用しており、長期にわたる大規模RL訓練でも性能改善を継続的に得られることを狙いとしている。

詳細な手法の仕組みや実験結果については、Qwenの公式ブログで公開されている。