パーサーフリーな仮装試着による外観フローの蒸留

画像仮試着（Image virtual try-on）は、衣装画像（ターゲット衣装）を人物画像に適合させるタスクを目的としています。従来の手法は人間のポーズ解析（human parsing）に大きく依存していますが、わずかなセグメンテーションの誤差が、大きなアーティファクトを伴う現実感に欠ける試着画像を生じさせてしまいます。不正確なパースリング結果は、パーサーに基づく手法を誤導し、アーティファクトが頻発する視覚的に非現実的な結果をもたらします。近年、先行的な研究では知識蒸留（knowledge distillation）を用いて人間のパースリングへの依存を低減するアプローチが提案されました。この手法では、パーサーに基づくモデルが生成する試着画像を教師信号として用い、セグメンテーションに依存しない「生徒（student）」ネットワークを学習させ、パーサーに基づくモデルの試着能力を模倣させます。しかし、この生徒ネットワークの画像品質は、元のパーサーに基づくモデルの性能に制限されてしまいます。この問題に対処するため、本研究では「教師－チューター－生徒（teacher-tutor-student）」という新しい知識蒸留アプローチを提案します。本手法は人間のパースリングに依存せずに、高精細な写実的な画像を生成可能であり、従来の手法と比較して複数の優れた特長を有しています。（1）既存の研究とは異なり、本手法はパーサーに基づくモデルが生成する偽の画像を「チューター知識」として扱います。このチューター知識にはアーティファクトが含まれるが、実際の人物画像から自己教師学習（self-supervised）により抽出された「教師知識」によってその欠陥が補正されます。（2）実画像を教師信号として用いるだけでなく、本手法では試着問題における知識蒸留を、人物画像と衣装画像間の外観フロー（appearance flows）の蒸留として定式化します。これにより、両画像間の高精度な密な対応関係を確立でき、高品質な試着画像の生成が可能になります。（3）広範な評価結果から、本手法の顕著な優位性が確認されています（図1を参照）。