Baidu、ERNIE 5.5 Flash Base公開

バイドゥのERNIEチームは本日、追加学習の起点とする基礎モデル「ERNIE 5.5 Flash Base」の重みを公開した。稀疏型混合専門家構成で総パラメータ2800億、トークンあたり活性化は140億。33兆5000億トークンを事前学習し、学習コンテキストは128K、推論と微調整では100万トークンに対応する。設計では大半の層が128トークン圧縮の注意機構を使い、少数層で全履歴を参照する構成を採った。これによりキー・バリューキャッシュを抑制し、長文性能と計算効率を両立した。複数ルーターの専門家選択、制約付き高次元接続、学習可能な多段温度出力、未来トークン予測のECHO、数字整理のトークナイザーも導入。分散Muon最適化と専用注意力カーネルで数千GPU規模の学習効率も改善した。評価では同規模の競合基礎モデルと比べ、試験、知識、推論、コード、長文タスクで総じて強い結果を示した。モデルは主要データホスティングサイトで8ビットと16ビットの浮動小数点形式を提供し、既存の推論基盤で利用可能。同チームは、大規模事前学習のコストを下げ、ドメイン適応やエージェント開発を支援するとしている。