2ヶ月前

変形オートエンコーダー:形状と外観の非教師あり分離

Zhixin Shu; Mihir Sahasrabudhe; Alp Guler; Dimitris Samaras; Nikos Paragios; Iasonas Kokkinos
変形オートエンコーダー:形状と外観の非教師あり分離
要約

本研究では、形状と外観を非教師あり形で分離する画像生成モデルであるデフォーミングオートエンコーダー(Deforming Autoencoders)を導入します。変形テンプレートパラダイムと同様に、形状は正規座標系(`テンプレート')と観測された画像との間の変形として表現され、外観は正規座標系におけるテンプレート座標でモデル化されます。これにより、変形による変動性が排除されます。私たちはこのアプローチをオートエンコーダーの設定に適用するための新技術を導入し、この手法が非教師あり形での群画像アライメントに使用できることを示します。人間の表情モーフィング、手、および数字の実験を行い、顔操作(形状と外観の補間など)、非教師ありランドマーク局在化についても実験結果を示します。テンプレート座標系においてより強力な非教師あり分離が可能となり、顔画像をシェーディングとアルベドに成功裏に分解し、さらに顔画像を操作することが可能になりました。