Noam Issachar Guy Yariv Sagie Benaim Yossi Adi Dani Lischinski Raanan Fattal

要約

拡散トランスフォーマー（Diffusion Transformer）モデルは、驚異的な忠実度と詳細さをもって画像を生成できるが、画像トークン数に対して二次的に増加する自己注意機構（self-attention mechanism）の特性により、超高解像度での学習は依然として極めて高コストである。本論文では、学習を必要とせず、事前に学習された拡散トランスフォーマーが、訓練データの解像度をはるかに超える解像度で画像を合成可能にする、新たな「動的位置外挿（Dynamic Position Extrapolation, DyPE）」手法を提案する。DyPEは、追加のサンプリングコストを伴わず、極めて高い解像度での画像生成を実現する。本手法は、拡散プロセスに内在するスペクトル的進行特性に着目している。すなわち、低周波成分は初期段階で収束するのに対し、高周波成分は解像化に多くのステップを要する。具体的には、DyPEは各拡散ステップにおいてモデルの位置符号化（positional encoding）を動的に調整し、その周波数スペクトルを生成プロセスの現在の段階と一致させる。このアプローチにより、訓練解像度をはるかに上回る画像生成が可能となり、例えばFLUXを用いて1600万画素以上の画像を生成できる。複数のベンチマークにおいて、DyPEは一貫して性能向上を示し、超高解像度画像生成において最先端の忠実度を達成しており、解像度が高くなるほどその効果が顕著になる。プロジェクトページは以下のURLで公開されている：https://noamissachar.github.io/DyPE/。