Command Palette

Search for a command to run...

2日前

SDAR:スケーラブルなシーケンス生成のための相乗効果を持つ拡散-自己回帰パラダイム

SDAR:スケーラブルなシーケンス生成のための相乗効果を持つ拡散-自己回帰パラダイム

要約

我々は、自己回帰モデルの学習効率と拡散モデルの並列推論能力を統合する新しい枠組み「SDAR(Synergistic Diffusion-Autoregression)」を提案する。従来の高コストなエンドツーエンドの拡散モデル学習に代わって、SDARは軽量なパラダイム変換を実行し、事前に良好に学習された自己回帰(AR)モデルを、短時間かつデータ効率的な適応によってブロック単位の拡散モデルに変換する。推論段階では、SDARはブロック間で自己回帰的に生成することで全体の整合性を保ちつつ、各ブロック内では離散的拡散プロセスによりすべてのトークンを並列にデコードする。広範な実験により、自己回帰モデルはマスク付き拡散モデルに比べて著しく計算効率が優れていることが示され、この点が適応の強固な基盤を提供している。この知見をもとに、SDARは最小限のコストで効率的なARから拡散モデルへの変換を実現し、ARレベルの性能を維持しつつ並列生成を可能にした。密接なアーキテクチャおよびMixture-of-Experts(MoE)アーキテクチャにおけるスケーリング研究から、SDARは妥協なくスケーリング可能であることが確認された。モデルが拡大するにつれて、ブロックサイズやデコード閾値に対するロバスト性が強化され、精度を損なうことなくさらなる高速化が達成された。効率性に加え、SDARは推論能力とドメイン適応性の向上も示した。300億パラメータのMoEモデルは、GPQAやChemBenchといった困難な科学的推論ベンチマークにおいて、対応するARモデルを上回り、テスト時スケーリング手法(例:多数決やpass@k)を適用することでさらなる性能向上も達成した。これらの結果から、SDARはスケーラブルかつ高スループットな推論を実現するため、自己回帰と拡散の両方の利点を統合する実用的な枠組みとして確立された。

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SDAR:スケーラブルなシーケンス生成のための相乗効果を持つ拡散-自己回帰パラダイム | 論文 | HyperAI超神経