混合专家モデル（MoE）は条件付き計算により大規模パラメータ容量を維持しつつ計算コストを抑制する。しかしマルチモーダル展開では、既存の分散学習フレームワークとの親和性不足が課題となっている。Qwenチームが公開した352億パラメータのMoEモデル「Qwen3-Omni」を用いた実証では、スプースルーティングの特性に応じた新たなファインチューニング設計が提示された。 MoEは学習済みルーターが入力トークンを専門サブネットワークへ動的に振り分ける。負荷分散とキャパシティ制御は必須だが、単なるパラメータ増加ではなく訓練を通じてアーキテクチャとデータ分布が専門化を導出する点が本質的な利点である。 実験の主要課題は、標準的なパラメータシャード手法の失敗だった。DeepSpeed ZeRO-3やPyTorch FSDPを用いた全設定で、4枚のA100環境において出力行列の動的集合処理が原因となりメモリエラーが発生した。データ依存型ルーティングは事前重み集合を前提とする従来フレームワークと根本的に競合する。長期的にはエキスパート並列処理が最適解だが、現状は事前学習チェックポイントとの互換性に欠ける。 これに対し、層単位でのデバイス分割を採用し3つのメモリ最適化を連動させた。重みを4ビット量子化しLoRAを適用するQLoRA、Attention行列のメモリ占用を回避するFlash Attention 2、推論損失に寄与しないトークン位置の隠れ状態を切り取るlm_headフックを組み合わせた結果、ピークメモリを15.6GBまで圧縮。最大128フレームの入力でもメモリ枠内に収め、ファインチューニングを成功させた。 ルーター構造の解析では、浅い層ではオーディオ・ビデオ・テキストのモーダル特性に基づき、深い層では文脈意味に基づいたセマンティックな振り分けへ遷移することが確認された。オーディオとビデオはパスが安定するのに対し、テキストは文脈に応じて動的に切り替わる。既知のルーティング構造が収束しているため、ルーターを凍結し学習予算を密なアテンション層へ集中させる手法が採られた。 本実証は大規模MoEのマルチモーダル応用における分散フレームワークの限界を明示し、メモリ制約下の実用的な設計指針を示した。今後はファインチューニング対応の並列実装、ルーティング安定性モニタリング、適応的トークン選択戦略が次の課題となる。