組成データ解析による言語識別手法、CLR変換で線形時間・高精度を両立

言語識別（Language Identification）は、ニューラルネットワークによる手法と、統計的なn-gramモデルによる手法の2つに大別されるのが一般的だ。前者は高精度だが計算コストが大きく、後者は線形時間で高速に処理できる反面、頻度データに対して単純なユークリッド距離などを用いると、データの性質上不適切な結果を招くことがあった。

今回arXivに投稿された論文では、文字やバイグラムの出現頻度分布を「組成データ（compositional data）」として扱う新しいアプローチを提案している。組成データとは、全体に対する相対的な割合として意味を持つデータのことで、通常のユークリッド幾何学をそのまま適用すると歪んだ結果になりやすい。

CLR変換による幾何学的アプローチ

提案手法では、頻度分布を単体（シンプレックス）上のベクトルとしてモデル化し、中心化対数比（Centered Log-Ratio, CLR）変換を用いて、$\mathbb{R}^D$空間の$(D-1)$次元ゼロサム部分空間へ全単射的に写像する。この変換後の空間では、ユークリッド距離が組成データに適した「Aitchison距離」に対応するようになり、頻度データの比較をより理論的に妥当な形で行えるようになる。

パイプラインとしては、CLR変換されたユニグラム・バイグラム特徴量を組み合わせ、スパース性（データの疎さ）に対処するためラプラススムージングを適用する構成となっている。

評価結果と意義

6言語を対象とした実験では、テキストの長さが異なる条件下でも頑健な精度を達成し、特に長い文章に対して強い性能を示したという。この結果は、組成データ表現がニューラルネットワークに代わる決定論的かつ計算効率の高い選択肢となり得ることを示しており、解釈可能性や低リソース消費が重視される場面で特に有用だとしている。

本手法はブラックボックス的なニューラルモデルとは異なり、統計的・幾何学的な根拠に基づく明快な仕組みを持つため、エッジデバイスや軽量アプリケーションでの言語識別タスクへの応用が期待される。