تجميع ودمج: التعرف على الوجه مع مجموعة تحقيق كبيرة

تلعب الدمج المميزات دورًا حاسمًا في التعرف على الوجه دون قيود، حيث تتكون المدخلات (الاستقصاءات) من مجموعة من الصور ذات الجودة المنخفضة التي تختلف جودتها الفردية. أدت التطورات في وحدات الانتباه والوحدات المتكررة إلى تحسين دمج الميزات بحيث يمكنها نمذجة العلاقات بين الصور في مجموعة المدخلات. ومع ذلك، فإن آليات الانتباه لا يمكنها التوسع إلى قيم كبيرة لـ $N$ بسبب تعقيدها التربيعي، في حين تعاني الوحدات المتكررة من الحساسية تجاه ترتيب المدخلات. نقترح نموذجًا ثنائي المرحلة لدمج الميزات يُسمى "تجميع ودمج"، والذي يمكنه التوسع إلى قيم كبيرة لـ $N$ مع الحفاظ على القدرة على إجراء استنتاج تسلسلي مع الحفاظ على التماثل تجاه الترتيب. بشكل خاص، تتضمن المرحلة الأولى "تجميع" تعيينًا خطيًا لـ $N$ مدخلات إلى $M$ مركزًا تجميعيًا عالميًا، بينما تتمثل المرحلة الثانية "دمج" في دمج الميزات المجمعة عبر $M$ مجموعة. تؤدي الميزات المجمعة دورًا جوهريًا عند وجود مدخلات تسلسلية، حيث يمكنها أن تُعد ملخصًا للميزات السابقة. وباستغلال خاصية عدم التأثر بالترتيب في عملية التقدير التدريجي، نصمم قاعدة تحديث تحقق من التماثل تجاه ترتيب الحزم، مما يضمن أن لا تتناقص مساهمة الصور المبكرة في التسلسل مع زيادة عدد الخطوات الزمنية. أظهرت التجارب على مجموعتي بيانات المعيار IJB-B وIJB-S تفوق النموذج ثنائي المرحلة المقترح في التعرف على الوجه دون قيود. يمكن الوصول إلى الشفرة النموذجية والنموذج المُدرّب مسبقًا من خلال الرابط: https://github.com/mk-minchul/caface