الشبكات المرتبطة بتوافق الجيران المتكيف

في هذه الورقة، نتناول مهمة إقامة تطابق بصري كثيف بين صور تحتوي على كائنات من نفس الفئة. وتعتبر هذه المهمة صعبة بسبب التباينات الكبيرة داخل الفئة، ونقص التسميات الكثيفة على مستوى البكسل. نقترح بنية شبكة عصبية تلافيفية تُسمى "شبكة التوافق المتميزة للجوار التكيفي" (ANC-Net)، التي يمكن تدريبها بشكل متكامل (end-to-end) باستخدام تسميات نادرة للنقاط الرئيسية، بهدف التصدي لهذه التحديات. وتمثّل النواة التلافيفية الرباعية غير المتماثلة (non-isotropic 4D convolution kernel) التي نقترحها العنصر الأساسي في ANC-Net، حيث تُشكّل الوحدة الأساسية لوحدة التوافق المتميزة للجوار، مما يعزز موثوقية التطابق. كما نقدّم وحدة بسيطة وفعّالة للاستقلالية الذاتية متعددة المقياس داخل ANC-Net، لتُعزز مقاومة الميزات المُتعلّمة للتباينات داخل الفئة. علاوة على ذلك، نقترح خسارة متعامدة جديدة يمكنها فرض قيد التطابق واحد-لواحد. وقد قمنا بتقييم شامل لفعالية طريقتنا على عدة معايير معيارية، حيث تفوقت بشكل كبير على الطرق الرائدة في مجالها.