Google、エンコーダー・デコーダー型モデル群「T5Gemma」を発表

GoogleのDeepMindは、Gemmaファミリーの新たなモデル群「T5Gemma」を発表した。近年のLLMの多くがデコーダー専用（decoder-only）アーキテクチャを採用する中、T5Gemmaはエンコーダー・デコーダー（encoder-decoder）構成を採用している点が特徴となる。

エンコーダー・デコーダー構成の意義

エンコーダー・デコーダー型は、入力文を一度エンコーダーで表現に変換したうえでデコーダーが出力を生成する仕組みで、翻訳や要約などの系列変換タスクに強みを持つとされる従来型のアーキテクチャ。近年の大規模言語モデルの多くはデコーダー専用型に移行してきたが、Googleは今回、既存のGemma系モデルの知見を活かしつつ、この構成を再検証する形でT5Gemmaを投入した。

Gemmaファミリーの拡張

T5GemmaはGoogleが展開するオープンモデル「Gemma」シリーズの新たなコレクションとして位置づけられており、既存のデコーダー専用Gemmaモデルと並行して、用途に応じた選択肢を開発者に提供することを狙いとしている。詳細なモデルサイズやベンチマーク性能については公式ブログで順次公開される見込み。