HyperAIHyperAI

Command Palette

Search for a command to run...

協調拡散自己回帰パラダイムSDAR

Date

2ヶ月前

Organization

上海人工知能研究所

Paper URL

2510.06303

相乗的拡散自己回帰(SDAR)は、2025年10月に上海人工知能研究所によって提案され、関連する研究成果は論文「SDAR: スケーラブルなシーケンス生成のための相乗的拡散-自己回帰パラダイム”。

SDARは、協調的な拡散-自己回帰パラダイムであり、新たな言語モデリングフレームワークを確立します。自己回帰の学習効率と拡散の並列推論機能を組み合わせ、自己回帰学習の効率性と拡散ベース推論の並列性を両立させることを目指しています。その主要原理は、2つの段階を分離することです。まず、フルスケールのAR事前学習を用いて安定性と効率性を確保し、次に軽量な適応段階を導入してモデルがブロックベースの拡散デコードを実行できるようにします。この設計は、キー値キャッシュ、可変長生成、堅牢な最適化動作といったARの実用的な利点を維持しながら、拡散独自のブロック内並列生成の利点を最大限に引き出します。

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています