Arc2Face: ID 一貫性のある人間の顔のための基礎モデル

本論文では、Arc2Faceというアイデンティティ条件付き顔生成モデルを紹介します。このモデルは、個人のArcFace埋め込みベクトルが与えられた場合、既存のモデルよりも類似度が優れた多様な写実的な画像を生成することができます。これまでの顔認識特徴量を詳細な画像にデコードする試みにもかかわらず、一般的な高解像度データセット（例：FFHQ）には任意の被写体を再構築するのに十分なアイデンティティが欠けています。これを解決するために、最大規模の公開顔認識（FR）データセットであるWebFace42Mデータベースの重要な部分を丹念にアップサンプリングしました。Arc2Faceは事前学習されたStable Diffusionモデルに基づいていますが、IDベクトルのみで条件付けられるID-to-顔生成タスクに適応しています。最近の研究では、テキスト埋め込みとIDを組み合わせてテキストから画像へのゼロショットパーソナライゼーションを行うことが提案されていますが、我々はFR特徴量のコンパクトさに重点を置いています。これらの特徴量は手作りのプロンプトとは異なり、人間の顔の本質を完全に捉えることができます。重要な点は、テキスト拡張モデルがアイデンティティとテキストを分離することが難しく、通常は与えられた顔について何らかの説明が必要となることです。一方、Arc2FaceはArcFaceによる識別特徴量のみを使用して生成をガイドするため、IDの一貫性が極めて重要となる多くのタスクに対して堅牢な事前知識を提供します。例えば、我々は自社モデルから生成された合成画像でFRモデルを学習させましたが、既存の合成データセットよりも優れた性能を得ることができました。