弱教師あり外れ値セグメンテーションを用いたロバストなモデルベース顔再構成

本研究では、モデルに基づく顔再構成の性能向上を目指し、モデルによって適切に表現できない領域（例：隠蔽物やメイクなど）にモデルをフィッティングしないことを目的とする。特に、これらの外れ値（outliers）を正確に局所化することは、その多様性が高く、ラベル付けが困難であるため、根本的な課題となっている。この困難な問題に対処するため、本研究では「Face-autoencoderと外れ値セグメンテーションの統合アプローチ（FOCUS）」を提案する。本手法の鍵となる洞察は、外れ値は顔モデルによって適切にフィッティングできないため、高品質なモデルフィッティングが得られれば、それらを良好に局所化できる点にある。しかし、モデルフィッティングと外れ値セグメンテーションの両者は互いに依存関係にあり、同時に推論する必要があるという主要な課題が存在する。この「卵と鶏の問題」を解決するために、EM型のトレーニング戦略を採用し、顔自動符号化器（face autoencoder）と外れ値セグメンテーションネットワークを共同で学習する。これにより、相互に強化する効果が得られる：セグメンテーションネットワークが外れ値へのフィッティングを防ぐことで、顔エンコーダの再構成品質が向上し、その結果、より高精度な3D顔再構成が可能となる。逆に、改善された3D再構成は、セグメンテーションネットワークが外れ値をより正確に予測するための情報を提供する。また、眉などフィッティングが難しい領域と外れ値との曖昧さを解消するため、合成データから得られる統計的事前知識を構築し、モデルフィッティングにおける体系的なバイアスを測定する。NoWテストセットにおける実験結果から、FOCUSは3Dアノテーションを用いずに訓練されたすべてのベースライン中でSOTA（最先端）の3D顔再構成性能を達成することが示された。さらに、CelebA-HQおよびARデータベースにおける実験結果から、セグメンテーションネットワークがセグメンテーションラベルを一切用いずに学習されているにもかかわらず、隠蔽物を正確に局所化できることも確認された。