HOPEがMoEエキスパート相互作用で枝刈り最適化

アマゾン・ウェブ・サービスは、混合専門家型の大規模言語モデルで専門家間の協力関係を考慮した剪定手法HOPEを提案した。混合専門家では、各トークンで少数の専門家だけを使うが、推論時はすべての専門家が行をメモリに保持し、既存の剪定法は各専門家の単独重要度だけに基づく一次評価を用いる。しかし実際には専門家は共活性化する協力群を形成するため、協力相手の削除が高次の性能劣化を招く。 HOPEは、削除候補専門家の置換による出力誤差の上界を定義し、専門家家ペアの協力寄与を表す行列を校正データから推定する。この行列の対角は個別重要度、非対角はペアの相互作用を捉え、削除すべき専門家集合を二次計画問題として最適化する。運用は校正、集合決定、モデル再作成の三工程で、実装は既存の標準チェックポイント出力に対応し、推論基盤の改変は不要という。 評価では、Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Airで10〜50%剪定を比較した。全条件の平均順位は2.07で最良、50%剪定では1.58に改善し、次点のREAPの2.42を上回った。エージェント型コーディングの評価SWE-Bench Proでは、Qwen3.5-35Bの50%剪定が42.3点を記録し、未剪定の41.8にほぼ匹敵し、REAPの36.2を大きく上回った。HOPEは単独重要度が高くても協力相手が多い専門家を残す傾向があり、この構造保持が利点の要因とされる。 HOPEの優位性は40〜50%の強い剪定で目立ち、20%以下では一次手法と互角になる場合もある。また、層間の相互作用や三者以上の高次関係は現時点では未対応で、今後の課題として残る。