要約
Dense Interspecies Face Embedding（DIFE）は、人間の顔を含むさまざまな動物の顔から共通する特徴を抽出することで、動物の顔を理解するための新しいアプローチである。種間顔認識においては、以下の3つの主要な課題が存在する：（1）人間と比べて動物データの不足、（2）さまざまな動物の顔の間の曖昧な関連性、（3）顔の形状およびスタイルの極端なばらつき。データ不足に対処するため、追加のデータやラベルを必要としない、CSEおよびStyleGAN2を用いたマルチティーチャー知識蒸留を活用する。その後、StyleGAN2の潜在空間を探索することで疑似ペア画像を合成し、異なる動物の顔の間にある隠れた関係性を発見する。さらに、種間での顔形状の極端な差異に対処するため、意味的マッチング損失（semantic matching loss）を導入する。従来の手法（例：教師なしキーポイント検出）との比較を定量的に評価するため、MAFLおよびAP-10Kデータセット上で種間顔キーポイント転送を実施する。また、種間顔画像の操作や密なキーポイント転送といった他の応用結果も提示する。コードは以下のURLから公開されている：https://github.com/kingsj0405/dife。