要約
画像ベースのバーチャルトライオンは、店舗内撮影された衣類を、着衣した人物の画像に適切にフィットさせるタスクを目的としています。この目的を達成するための重要なステップとして、ターゲットとなる衣類を人物画像の対応する身体部位と空間的に整合させる「衣類のワーピング」が挙げられます。従来の手法は通常、局所的な外観フロー推定モデルを採用していますが、これにより難しい身体ポーズや遮蔽、人物画像と衣類画像の間の大きな不整合（図~\ref{fig:fig1} 参照）に対して本質的に脆弱です。この課題を克服するために、本研究では新たな「グローバル外観フロー推定モデル」を提案します。本研究では、初めてStyleGANを基盤とするアーキテクチャを外観フロー推定に導入しました。これにより、画像全体の文脈をグローバルなスタイルベクトルで符号化することが可能となり、前述の課題に有効に対応できます。さらに、StyleGANによるフローゲネレータが局所的な衣類の変形に注目できるようにするため、局所的なコンテキストを追加する「フロー精細化モジュール」を導入しました。代表的なバーチャルトライオンベンチマーク上で行った実験の結果、本手法は新たなSOTA（最先端）性能を達成しました。特に、参照画像が全身画像であり、衣類画像との間で大きな不整合が生じる「野外（in-the-wild）」の応用シーンにおいて、顕著な効果を発揮します（図~\ref{fig:fig1} 上段参照）。コードは以下のURLで公開されています：\url{https://github.com/SenHe/Flow-Style-VTON}。