要約
バーチャルトライオンは、店舗内の衣類画像と参照人物の画像を入力として、写真並みのリアルな着用結果を生成することを目的としています。従来の手法は、衣類の歪み（clothes warping）と身体の融合（body blending）を別々に処理する多段階フレームワークを構築するか、中間のパーサー（parser）ベースのラベルに強く依存しており、これらはノイズを含む場合やそもそも不正確な場合があるという課題を抱えていました。上記の課題を解決するために、本研究では新たな「可変アテンションフロー（Deformable Attention Flow, DAFlow）」を導入し、単一段階のトライオンフレームワークを提案します。DAFlowは可変アテンション機構を複数のフロー推定に応用し、ポーズキーポイントを唯一のガイドとして用いることで、参照人物画像と衣類画像それぞれに対して自己およびクロス可変アテンションフローを推定します。複数のフロー場をサンプリングすることで、アテンション機構を介して異なる意味的領域からの特徴レベルおよびピクセルレベルの情報を同時に抽出・統合できます。この仕組みにより、衣類の歪みと身体の合成を同時に実現でき、エンド・トゥ・エンドの枠組みで写真並みのリアルな結果を生成することが可能になります。2つのトライオンデータセットを用いた広範な実験により、本手法が定性的および定量的に最新の最先端性能を達成することが確認されました。さらに、他の2つの画像編集タスクに対する追加実験から、本手法が多視点合成および画像アニメーションといった応用にも汎用性を有していることが示されています。