ARBEx: استخراج الميزات مع الانتباه وتوازن الموثوقية لتعلم التعبيرات الوجهية بثبات

في هذا البحث، نقدم إطارًا جديدًا يُسمى ARBEx، وهو إطار استخراج ميزات انتباهي مدفوع بـ Vision Transformer مع توازن الموثوقية لمعالجة التوزيعات الفئوية السيئة، والتحيز، وعدم اليقين في مهمة تعلم تعبيرات الوجه (FEL). نعزز عدة طرق للمعالجة السابقة للبيانات وتحسينها مع Vision Transformer يستخدم الانتباه المتقاطع القائم على النوافذ لتحقيق أفضل النتائج من البيانات. كما نستخدم نقاط مرجعية قابلة للتعلم في فضاء التضمين مع توزيعات العلامات وآلية الانتباه الذاتي متعددة الرؤوس لتحسين الأداء ضد التوقعات الضعيفة مع توازن الموثوقية، وهي استراتيجية تعتمد على نقاط المرجعية، درجات الانتباه، وقيم الثقة لتعزيز صمود توقعات العلامات. لضمان تصنيف العلامات الصحيح وتحسين قوة التمييز للنماذج، نقدم خسارة النقاط المرجعية (anchor loss)، والتي تشجع على وجود هوامش كبيرة بين نقاط المرجعية. بالإضافة إلى ذلك، تقوم آلية الانتباه الذاتي متعددة الرؤوس، التي يمكن تدريبها أيضًا، بدور أساسي في تحديد العلامات الدقيقة. يوفر هذا النهج عناصر حاسمة لتحسين موثوقية التوقعات ولديه تأثير إيجابي كبير على قدرة التوقع النهائي. يمكن دمج نموذجنا المتكيف مع أي شبكة عصبية عميقة لمواجهة التحديات في مهام التعرف المختلفة. أظهرت التجارب الواسعة التي أجريت في مجموعة متنوعة من السياقات أن استراتيجيتنا تتخطى الأساليب الحالية الأكثر تقدمًا.