ストリートトライオン：対応のない人物画像から屋外での仮装試着を学ぶ

ほとんどの仮想試着（virtual try-on）研究は、スタジオモデルを用いた衣類の画像生成により、ファッション業界におけるコスト低減を目的としている。しかし、仮想試着の応用はそれ以上に広範であり、ユーザーが自らの普段着の写真（いわゆる「イン・ザ・ワイルド（in-the-wild）」写真）を用いて、自らに衣類を試着した様子を視覚化できるようにするべきである。現状では、スタジオ環境における仮想試着において妥当な結果を達成できる既存手法は、イン・ザ・ワイルドな状況では著しく性能が劣る。その理由は、これらの手法が通常、訓練のためにペア画像（同一の衣類を着用している人物の画像とその衣類の画像のペア）を必要とすることにある。スタジオ環境ではショッピングサイトからこのようなペアデータを容易に収集できるが、イン・ザ・ワイルドなシーンではその収集は極めて困難である。本研究では、このギャップを埋めるために、（1）イン・ザ・ワイルドな仮想試着アプリケーションを支援するための「StreetTryOnベンチマーク」を導入し、（2）ペアデータを必要とせずに、イン・ザ・ワイルドな人物画像の集合から直接仮想試着を学習する新しい手法を提案する。我々は、多様な人体ポーズへの衣類のワープ処理や、複雑な背景の忠実な再現といった、イン・ザ・ワイルド環境特有の課題に、新しい「DensePoseワープ補正法」と、拡散モデルに基づく条件付きインペインティングを組み合わせることで対処する。実験の結果、標準的なスタジオ試着タスクにおいても競争力のある性能を示し、さらにストリート試着およびクロスドメイン試着タスクにおいては最先端（SOTA）の性能を達成した。