17日前

スコアベースモデルによるデータ生成においては、高速化が不可欠である

Alexia Jolicoeur-Martineau, Ke Li, Rémi Piché-Taillefer, Tal Kachman, Ioannis Mitliagkas
スコアベースモデルによるデータ生成においては、高速化が不可欠である
要約

スコアベース(ノイズ除去拡散)生成モデルは、近年、現実的で多様なデータを生成する分野で大きな成功を収めています。これらのアプローチは、データをノイズに変換する前向きな拡散プロセスを定義し、その逆過程を用いてデータを生成する(すなわち、ノイズからデータへと遷移する)仕組みです。しかし、現在のスコアベースモデルは、数値SDE(確率微分方程式)ソルバーに必要なスコアネットワークの評価回数が膨大であるため、データ生成が極めて遅くなっています。本研究では、より効率的なSDEソルバーの設計により、このプロセスを高速化することを目指します。既存の手法は、固定ステップサイズを用いるEuler-Maruyama(EM)ソルバーに依存しています。我々は、単純に他のSDEソルバーに置き換えると、品質の低いサンプルが得られたり、EMソルバーよりも遅くなることが判明しました。この課題を克服するため、スコアベース生成モデルに特化した適応的ステップサイズを備えたSDEソルバーを、段階的に精密に設計しました。本ソルバーは、わずか2回のスコア関数評価で済み、サンプルの棄却も稀にしか発生せず、高品質なサンプルを生成します。その結果、EMソルバーと比較して、データ生成速度が2~10倍高速化されながら、サンプル品質は同等またはそれ以上を達成しています。特に高解像度画像の生成においては、検証されたすべての他の手法と比較して、著しく高い品質のサンプルを生成することが可能になりました。本SDEソルバーの利点として、ステップサイズの調整が不要である点が挙げられます。