逆問題に基づくスタイル転移：拡散モデルを用いた手法

絵画内の芸術的スタイルは、表現手段として、描画材料や色彩、筆致といった要素に加え、意味的要素や物体の形状など、高次の属性も含む。従来の任意の例による芸術的画像生成手法は、形状の変化を正確に制御できなかったり、特定の要素を適切に伝達できなかったりする傾向があった。一方、事前学習済みのテキストから画像への合成を実現する拡散確率モデルは、非常に高い品質を達成しているが、特定の絵画の属性を正確に表現するには、しばしば詳細なテキスト記述が必要となる。私たちは、芸術作品の独自性が、通常の言語では十分に説明できないという点に由来すると考える。本研究の核心的なアイデアは、単一の絵画から芸術的スタイルを直接学習し、複雑なテキスト記述を提示せずに画像合成を制御することである。具体的には、スタイルを絵画の学習可能なテキスト的記述と仮定する。そこで、逆問題に基づくスタイル転送手法（InST: Inversion-based Style Transfer）を提案する。この手法は、画像の重要な情報を効率的かつ正確に学習でき、絵画の芸術的スタイルを的確に捉え、転送することが可能となる。我々は、さまざまな作家やスタイルに属する多数の絵画に対して、本手法の品質および効率性を実証した。コードおよびモデルは、https://github.com/zyxElsa/InST にて公開されている。