Lycheeシリーズから、Uni-MoE 2.0を発表します。本モデルは、完全にオープンソースなオムニモーダル大規模モデル（OLM）として、言語中心のマルチモーダル理解、推論、生成能力において、LycheeのUni-MoEシリーズを大幅に進化させました。Qwen2.5-7Bの密結合型アーキテクチャを基盤とし、以下の3つの核心的貢献に基づいて、Uni-MoE-2.0-Omniを完全に新規に構築しました：動的容量を持つMixture-of-Experts（MoE）設計、反復的強化学習戦略を統合した段階的訓練戦略、および慎重に選別されたマルチモーダルデータマッチング技術。本モデルは、オムニモーダルな理解能力に加え、画像、テキスト、音声の生成も可能となっています。アーキテクチャ面では、共有専門家（shared experts）、ルーティング専門家（routed experts）、およびヌル専門家（null experts）を活用することで、10種類のクロスモーダル入力に対し、計算効率と能力のバランスを実現しています。また、オムニモーダル3D RoPEにより、自己注意機構内での空間時間的クロスモーダル整合性を確保しています。訓練プロセスにおいては、クロスモーダル事前学習の後、モーダル固有の専門家を段階的に活性化する段階的教師あり微調整戦略を採用。さらに、バランスの取れたデータ構成と反復的GSPO-DPO法を組み合わせることで、強化学習の安定性を高め、推論性能を向上させています。データ面では、約750億トークンのオープンソースマルチモーダルデータで学習されたベースモデルに、特別な音声生成用および画像生成用トークンを搭載。これにより、出力が言語的ヒントに条件づけられる形で、生成タスクを効果的に学習可能となっています。85のベンチマークにわたる広範な評価結果から、本モデルは最先端（SOTA）または極めて競争力のある性能を達成しており、1.2兆トークンで学習されたQwen2.5-Omniを76のベンチマークのうち50以上で上回っています。主な強みは、動画理解（平均+7%、8件の平均）、オムニモーダル理解（平均+7%、4件の平均）、音声視覚推論（+4%）にあります。また、長文音声処理においても前進（WERを4.2%低減）、低レベル画像処理および制御可能な生成においては5つの指標でリードを確保しています。