Arc2Face: نموذج أساسي للأوجه البشرية المتسقة في الهوية

يقدم هذا البحث نموذج Arc2Face، وهو نموذج أساسي للوجه مشروط بالهوية،والذي يمكنه، عند تزويده بتمثيل ArcFace لشخص ما، إنتاج صور واقعية متنوعة بدرجة تشابه في الوجه غير مسبوقة مقارنةبالنماذج الحالية. على الرغم من المحاولات السابقة لفك شفرة خصائص التعرف على الوجه إلى صور مفصلة، نجد أن المجموعاتالبيانية عالية الدقة الشائعة (مثل FFHQ) تفتقر إلى عدد كافٍ من الهويات لإعادة بناء أي موضوع. لهذا الغرض، قمنا برفع دقةجزء كبير من قاعدة بيانات WebFace42M، وهي أكبر مجموعة بيانات عامة للتعرف على الوجه (FR). يعتمد Arc2Face على نموذجStable Diffusion المدرب مسبقًا، ولكنه يتكيف مع مهمة توليد الوجوه من الهوية (ID)، مشروطة فقط بمتجهات الهوية. يختلف عنالأعمال الحديثة التي تجمع بين الهوية ومتجهات النص لل personalization الصفرية لنماذج النص إلى الصورة، نحن نركز علىالكفاءة العالية لخصائص التعرف على الوجه (FR)، والتي يمكنها التقاط جوهر الوجه البشري بشكل كامل، بدلاً من الرسائل المصممةبشكل يدوي. بشكل حاسم، تعاني النماذج المعززة بالنص من فصل الهوية والنص، حيث تتطلب غالبًا بعض الوصف للوجه المعطى لتحقيقتشابه مرضٍ. ومع ذلك، يحتاج Arc2Face فقط إلى الخصائص التمييزية لـ ArcFace لتوجيه عملية التوليد، مما يقدم سابقة ثابتة لمجموعةكبيرة من المهام حيث يكون التجانس في الهوية مهمًا للغاية. كمثال، قمنا بتدريب نموذج للتعرف على الوجه باستخدام صور اصطناعيةمن نموذجنا وحققنا أداءً أفضل بكثير من المجموعات البيانات الاصطناعية الحالية.