تعلم التمثيل والتدريب المعاكس للهوية لفهم سلوك الوجه

اكتساب اكتشاف وحدات الحركة الوجهية (AU) اهتمامًا كبيرًا لأنه يمكّن من تحليل التعبيرات الوجهية المعقدة إلى حركات عضلية فردية. في هذا البحث، نعيد النظر في عاملين أساسيين في اكتشاف وحدات الحركة: البيانات المتنوعة والكبيرة الحجم وتقييد الهوية الشخصية. مستوحى من التقدم الحديث في النماذج الأساسية، نسلط الضوء على أهمية البيانات ونقدم مجموعة بيانات Face9M، وهي مجموعة متنوعة تتكون من 9 ملايين صورة وجهية من مصادر عامة متعددة. يؤدي تدريب كودر ذاتي قناعي مسبق على Face9M إلى أداء قوي في اكتشاف وحدات الحركة والمهام المتعلقة بالتعبيرات الوجهية. وأكثر أهمية من ذلك، نؤكد أن التدريب المعادي للهوية (IAT) لم يتم استكشافه بشكل جيد في مهام وحدات الحركة. لسد هذه الفجوة، نظهر أولاً أن هوية الشخص في مجموعات بيانات وحدات الحركة تخلق تعلمًا قصيرًا للنموذج وتؤدي إلى حلول غير مثلى لتوقعات وحدات الحركة. ثانيًا، نوضح أن تقييد IAT القوي ضروري لتعلم الخصائص المستقلة عن الهوية. أخيرًا، نشرح مجال تصميم IAT ونبين بشكل تجريبي أن IAT يتجنب التعلم القصير المستند إلى الهوية ويؤدي إلى حل أفضل. طرقنا المقترحة، الكودر الذاتي القناعي الوجهي (FMAE) والتدريب المعادي للهوية (IAT)، بسيطة ومتنوعة وفعالة. وبشكل ملفت للنظر، حققت الطريقة المقترحة FMAE-IAT درجات F1 جديدة رائدة على قواعد البيانات BP4D (67.1٪)، BP4D+ (66.8٪)، وDISFA (70.1٪)، مما يتفوق بشكل كبير على الأعمال السابقة. سنقوم بنشر الرمز والنموذج على https://github.com/forever208/FMAE-IAT.