自然言語テキストで訓練された言語モデルは、周期 T が 2、5、10 の周期的な特徴を用いて数を表現することがわかりました。本研究では、トランスフォーマー、線形 RNN、LSTM、古典的な単語埋め込みなど、異なる手法で訓練されたモデルが全てフーリエ領域で T の倍数のスペイクを持つ特徴を学習することを確認しました。しかし、これらの特徴が全て、数を T で割った余りに基づいて線形分類可能な幾何学的に分離可能な特徴に変換できるわけではありません。この矛盾を解明するために、フーリエ領域でのスパース性は必要だが、幾何学的分離性には十分でないことを証明しました。 実験を通じて、幾何学的に分離可能な特徴がどのような条件下で学習されるかを調査した結果、データ、アーキテクチャ、オプティマイザー、トークナイザーの全てが重要な役割を果たすことが判明しました。具体的には、モデルが幾何学的分離特徴を獲得する経路には 2 つのルートがあることが特定されました。一つは、一般的な言語データに含まれる補完的な同時出現信号、すなわちテキストと数の共起や、異なる数値間の相互作用からの学習です。もう一つは、複数のトークンを用いた加算問題からの学習であり、単一トークンの問題からはこの特徴が学習されないことが示されました。 これらの知見は、学習における収斂進化の現象を浮き彫りにしました。つまり、多様なモデルが異なる学習シグナルから、驚くほど類似した数値表現の特徴を獲得しているという事実です。この研究は、人工知能モデルがどのように数値を理解し処理するかという根本的なメカニズムを解明するものとして注目されています。モデル設計者や研究者は、より効率的で解釈可能な数値処理能力を備えた AI を構築する際、これらの発見を活用できる可能性があります。周期特性の重要性と、その特徴が幾何学的に分離可能になるための条件を理解することは、今後の言語モデル開発において重要な指針となると考えられます。本研究は、cs.CL、cs.AI、cs.LG の各分野において、計算と言語、人工知能、機械学習の交差点にある重要な洞察を提供しました。