事前学習が画像変換に必要なすべてである

私たちは、事前学習を用いて一般的な画像間変換の性能を向上させる手法を提案します。従来の画像間変換手法は、通常専門的なアーキテクチャ設計が必要であり、各変換モデルをゼロから個別に学習させることで、特にペアの訓練データが十分でない場合、複雑なシーンの高品質生成に苦労していました。本論文では、各画像間変換問題を下流タスクと捉え、事前学習済み拡散モデルを様々な種類の画像間変換に対応させるための単純かつ汎用的なフレームワークを導入します。また、拡散モデルの学習時にテクスチャ合成を強化するための敵対的訓練と、生成品質を向上させるための正規化ガイダンスサンプリングを提案します。ADE20K、COCO-Stuff、DIODEなどの困難なベンチマークにおける様々なタスクでの広範な実証比較を通じて、提案する事前学習ベースの画像間変換（PITI）がこれまでにない現実感と忠実性を持つ画像を合成できることが示されています。