要約
拡散モデルは、画像および動画生成において大きな可能性を示しているが、最先端のモデルからのサンプリングには、生成系ODEの高コストな数値積分が必要となる。この問題に対処する手法の一つとして、修正流れ（rectified flows）がある。これは、丸め誤差に比較的敏感でない滑らかなODE経路を反復的に学習するアプローチである。しかし、修正流れでも依然として関数評価回数（NFE: Number of Function Evaluations）が比較的大きい必要がある。本研究では、修正流れの学習手法を改善し、低NFE環境下でも「知識蒸留（knowledge distillation）」手法と競合可能な性能を達成することを目指す。我々の主な知見は、現実的な設定において、修正流れの学習に用いるReflowアルゴリズムの一反復で、ほぼ直線的な軌道を学習することが可能であり、従来の複数回のReflow反復は不要であるということである。そこで、単一反復での学習を効果的に改善するための手法を提案する。具体的には、U字型の時間ステップ分布とLPIPS-Huber前距離計（premetric）の導入を含む。これらの技術を用いることで、CIFAR-10において1NFE設定下で、従来の2-修正流れのFIDスコアを最大75％改善した。また、ImageNet 64×64においては、1ステップおよび2ステップ設定の両方で、最先端の蒸留手法（一貫性蒸留およびプログレッシブ蒸留）を上回り、改善された一貫性訓練（iCT）のFID性能と匹敵する結果を得た。コードは、https://github.com/sangyun884/rfpp にて公開されている。