Command Palette

Search for a command to run...

4ヶ月前

密な異種間顔埋め込み

{Seon Joo Kim Seonghyeon Nam Subin Jeon Sejong Yang}

密な異種間顔埋め込み

要約

Dense Interspecies Face Embedding(DIFE)は、人間の顔を含むさまざまな動物の顔から共通する特徴を抽出することで、動物の顔を理解するための新しいアプローチである。種間顔認識においては、以下の3つの主要な課題が存在する:(1)人間と比べて動物データの不足、(2)さまざまな動物の顔の間の曖昧な関連性、(3)顔の形状およびスタイルの極端なばらつき。データ不足に対処するため、追加のデータやラベルを必要としない、CSEおよびStyleGAN2を用いたマルチティーチャー知識蒸留を活用する。その後、StyleGAN2の潜在空間を探索することで疑似ペア画像を合成し、異なる動物の顔の間にある隠れた関係性を発見する。さらに、種間での顔形状の極端な差異に対処するため、意味的マッチング損失(semantic matching loss)を導入する。従来の手法(例:教師なしキーポイント検出)との比較を定量的に評価するため、MAFLおよびAP-10Kデータセット上で種間顔キーポイント転送を実施する。また、種間顔画像の操作や密なキーポイント転送といった他の応用結果も提示する。コードは以下のURLから公開されている:https://github.com/kingsj0405/dife

ベンチマーク

ベンチマーク方法論指標
interspecies-facial-keypoint-transfer-on-maflDIFE
NME: 11.73
interspecies-facial-keypoint-transfer-on-wflwDIFE
NME: 12.01

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
密な異種間顔埋め込み | 論文 | HyperAI超神経