注意を用いた学習フローフィールドによる制御可能な人物画像生成

制御可能な人物画像生成は、参照画像に基づいて人物の外見や姿勢を精密に制御しながら、人物の画像を生成することを目指しています。しかし、従来の手法では全体的な画像品質が高くても、参照画像からの微細なテクスチャ詳細がしばしば歪曲される問題があります。これらの歪曲は、参照画像内の対応する領域に対する十分な注意が払われていないことによるものと考えています。これを解決するために、私たちは訓練中に注意層でターゲットクエリが正しい参照キーに注目するように明示的にガイドする「注意におけるフローフィールド学習（Learning Flow Fields in Attention: Leffa）」を提案します。具体的には、拡散型ベースライン内の注意マップに対して正則化損失を適用することで実現されます。私たちの広範な実験結果は、Leffaが外見（バーチャル試着）と姿勢（ポーズ転送）の制御において最先端の性能を達成し、微細な詳細の歪曲を大幅に削減しながら高い画像品質を維持することを示しています。さらに、私たちの損失関数はモデル非依存であり、他の拡散モデルの性能向上にも利用できることが確認されています。