LDDMM-Face:柔軟かつ一貫した顔アライメントのための大変形微分同相計量学

我々は、柔軟かつ一貫性のある顔部部位合わせフレームワークであるLDDMM-Faceを初めて提案する。本研究の主な貢献は、顔の幾何構造を微分同相(diffeomorphic)な形で自然に埋め込む変形層の導入である。従来のヒートマップや座標回帰による顔部ランドマークの予測とは異なり、本手法は微分同相登録(diffeomorphic registration)の枠組みでこのタスクを定式化し、初期境界と真の境界の間の変形を一意にパラメータ化する「運動量(momenta)」を予測する。その後、曲線およびランドマークの両方に対して大変形微分同相計量マッピング(Large Deformation Diffeomorphic Metric Mapping; LDDMM)を同時に行い、顔部ランドマークを正確に局在化する。LDDMMを深層ネットワークに組み込むことで、LDDMM-Faceは曖昧さなく一貫したランドマークのアノテーションを実現でき、さまざまなアノテーションスキームに柔軟に対応可能であり、さらに疎なアノテーションから密なアノテーションを予測することも可能である。本手法は、さまざまな顔部部位合わせネットワークに容易に統合できる。我々は、300W、WFLW、HELEN、COFW-68の4つのベンチマークデータセット上でLDDMM-Faceを広範に評価した。従来のデータセット内・同一アノテーション設定では、最先端手法と同等またはそれ以上の性能を示すが、特に弱教師学習(部分アノテーションから完全アノテーションへの推定)、困難なケース(例:顔の被遮蔽)およびトレーニングと予測で異なるデータセットを用いる場合において、顕著な優位性を発揮する。さらに、異なるアノテーションスキームを持つデータセット間で予測を行うという、最も困難なタスクにおいても、LDDMM-Faceは有望な結果を示している。