ملخص وبحث: تعلم التوافقي للالتفاف الديناميكي للكشف عن التحديد المشترك للبؤر الاهتمام

يقوم البشر بلكشف المشترك عن الاهتمام من خلال تلخيص المعرفة المشتركة في المجموعة بأكملها أولاً، ثم البحث عن الأشياء المقابلة في كل صورة. عادةً ما تعاني الطرق السابقة من نقص في المتانة أو القابلية للتوسع أو الاستقرار بالنسبة للعملية الأولى، وتقوم بدمج الخصائص المشتركة مع خصائص الصور بشكل بسيط للعملية الثانية. في هذا البحث، نقترح نموذج تجميع ديناميكي جديد يعتمد على الإدراك المشترك لتنفيذ عملية "تلخيص والبحث" بشكل صريح وفعال. لتلخيص خصائص الصور المشتركة، نبدأ بتلخيص الخصائص المتينة لكل صورة باستخدام طريقة تجميع فعالة، ثم نجمع المؤشرات المشتركة بين الصور عبر آلية الانتباه الذاتي (self-attention). بهذه الطريقة، يلبي نموذجنا متطلبات القابلية للتوسع والاستقرار. بعد ذلك، ننشئ مصفوفات ديناميكية من الخصائص المشتركة لتشفير المعرفة المشتركة الملخصة. يتم إنشاء نوعين من المصفوفات بطريقة مكملة؛ أحدهما لتلخيص المؤشرات الدقيقة الخاصة بالصور الفردية، والآخر للمعرفة الشاملة المشتركة بين أفراد المجموعة.ثم يمكننا تنفيذ البحث عن الأشياء بشكل فعال باستخدام التجميع الديناميكي بمقياس متعدد. بالإضافة إلى ذلك، تم اقتراح طريقة جديدة وفعالة لدمج البيانات لتدريب شبكتنا العصبية. تؤكد النتائج التجريبية على أربع مجموعات بيانات مرجعية فعالية الطريقة المقترحة لدينا. الرمز البرمجي وخرائط الاهتمام المتاحة على الرابط: \url{https://github.com/nnizhang/CADC}.