HyperAIHyperAI

Command Palette

Search for a command to run...

Arc2Face: ID 一貫性のある人間の顔のための基礎モデル

Foivos Paraperas Papantoniou Alexandros Lattas Stylianos Moschoglou Jiankang Deng Bernhard Kainz Stefanos Zafeiriou

概要

本論文では、Arc2Faceというアイデンティティ条件付き顔生成モデルを紹介します。このモデルは、個人のArcFace埋め込みベクトルが与えられた場合、既存のモデルよりも類似度が優れた多様な写実的な画像を生成することができます。これまでの顔認識特徴量を詳細な画像にデコードする試みにもかかわらず、一般的な高解像度データセット(例:FFHQ)には任意の被写体を再構築するのに十分なアイデンティティが欠けています。これを解決するために、最大規模の公開顔認識(FR)データセットであるWebFace42Mデータベースの重要な部分を丹念にアップサンプリングしました。Arc2Faceは事前学習されたStable Diffusionモデルに基づいていますが、IDベクトルのみで条件付けられるID-to-顔生成タスクに適応しています。最近の研究では、テキスト埋め込みとIDを組み合わせてテキストから画像へのゼロショットパーソナライゼーションを行うことが提案されていますが、我々はFR特徴量のコンパクトさに重点を置いています。これらの特徴量は手作りのプロンプトとは異なり、人間の顔の本質を完全に捉えることができます。重要な点は、テキスト拡張モデルがアイデンティティとテキストを分離することが難しく、通常は与えられた顔について何らかの説明が必要となることです。一方、Arc2FaceはArcFaceによる識別特徴量のみを使用して生成をガイドするため、IDの一貫性が極めて重要となる多くのタスクに対して堅牢な事前知識を提供します。例えば、我々は自社モデルから生成された合成画像でFRモデルを学習させましたが、既存の合成データセットよりも優れた性能を得ることができました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Arc2Face: ID 一貫性のある人間の顔のための基礎モデル | 記事 | HyperAI超神経