CloTH-VTON+：Hybrid画像ベース仮想試着のための衣類三次元再構成

深層学習に基づく画像ベースの仮試着（VTON）システムは、研究界および産業界の注目を集めている。これらのシステムは、人物画像と仮試着衣装画像の融合、および隠蔽領域の合成において優れた性能を発揮しているが、複雑なポーズを持つ人物に対する結果は、幾何変形能力およびテクスチャ保持能力の限界により、しばしば満足のいくものではない。こうした課題に対処するために、本研究では、画像ベースの深層学習手法と3Dモデルの形状変形能力をシームレスに統合する「CloTH-VTON+」を提案する。具体的には、参照人体モデルを用いて3D衣装モデルの自動再構築と変形を行う完全自動パイプラインを構築した。まず、仮試着衣装がシンプルな形状を持つ参照人体モデル上のターゲット衣装領域にマッチングされ、その後、3D衣装モデルが再構築される。再構築された3D衣装モデルは、自然なポーズと形状の転移を実現しつつ、衣装のテクスチャを保持することができる。さらに、衣装の整列を精緻化するための衣装精調ネットワークを導入し、人体ポーズ推定や3D変形に起因する誤差による不整合を解消する。変形された衣装画像は、条件付き生成ネットワークを用いて非可視領域の補完と全体の融合が行われる。既存のベンチマークデータセットを用いた実験により、CloTH-VTON+が最先端のVTONシステムおよびCloTH-VTONと比較して、より高品質な結果を生成することが確認された。本手法は、複数ポーズガイド付きVTONや動画VTONといった拡張応用へも容易に統合可能である。