HyperAIHyperAI

Command Palette

Search for a command to run...

拡散の二重性

概要

一様状態離散拡散モデルは、自己修正能力に起因する高速なテキスト生成の可能性を秘めています。しかしながら、一般的には自己回帰モデルやマスクされた拡散モデルに劣る性能を示します。本研究では、一様状態の拡散過程が基本的なガウス拡散から自然に生じることという重要な洞察を利用して、この性能差を縮めます。私たちの手法「Duo」は、ガウス拡散から強力な技術を取り入れて、学習とサンプリングの両方を改善します。まず、ガウス過程によって導かれるカリキュラム学習戦略を導入し、分散を低減することで学習速度を2倍に向上させました。カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティにおいて自己回帰モデルを超える性能を示しました。次に、Discrete Consistency Distillation(離散一致性蒸留)アルゴリズムを提案します。これは連続設定から離散設定へと一致性蒸留を適応させたものです。このアルゴリズムにより、拡散言語モデルでの少数ステップ生成が可能となり、サンプリング速度が2桁向上しました。プロジェクトページ(http://s-sahoo.github.io/duo)にてコードおよびモデルチェックポイントを提供しています


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
拡散の二重性 | 記事 | HyperAI超神経