要約

本技術報告では、Ring-linearモデルシリーズを紹介する。具体的には、Ring-mini-linear-2.0とRing-flash-linear-2.0の2モデルを含む。Ring-mini-linear-2.0は160億パラメータ、9.57億アクティベーションを有し、Ring-flash-linear-2.0は1040億パラメータ、61億アクティベーションを有する。両モデルは、線形アテンション（linear attention）とソフトマックスアテンション（softmax attention）を効果的に統合するハイブリッドアーキテクチャを採用しており、長文文脈における推論処理においてI/Oおよび計算オーバーヘッドを顕著に低減している。320億パラメータの密接型（dense）モデルと比較して、本シリーズは推論コストを1/10まで削減し、従来のRingシリーズと比較しても50%以上のコスト低減を達成している。さらに、ハイブリッドアーキテクチャにおける異なるアテンションメカニズムの比率を体系的に検証した結果、現在の最適なモデル構造を同定した。また、自社開発の高性能FP8演算子ライブラリ「linghe」を活用することで、全体的な学習効率が50%向上した。訓練と推論エンジンの演算子間の高い整合性により、強化学習段階において長期間にわたり安定的かつ高効率な最適化が可能となり、複数の難解な複雑推論ベンチマークにおいて一貫してSOTA（State-of-the-Art）性能を維持している。