تعلم التفاعل الثنائي الانتباهي للتصنيف الدقيق

التصنيف الدقيق يُعد مشكلة صعبة نظرًا لل различات الدقيقة بين الفئات المتشابهة جدًا. تعتمد معظم الطرق على تعلّم تمثيل تمييزي لكل صورة فردية لمعالجة هذه الصعوبة. من ناحية أخرى، يمكن للبشر التعرف بفعالية على المؤشرات التمييزية من خلال مقارنة أزواج من الصور. مستوحاة من هذه الحقيقة، تُقدّم هذه الورقة شبكة تفاعلية موجهة للزوج (API-Net) بسيطة ولكنها فعّالة، التي تُمكن التعرف التدريجي على زوج من الصور الدقيقة من خلال التفاعل. بشكل محدد، تتعلم API-Net أولًا متجهًا متبادلًا لالتقاط الفروقات الدلالية في الزوج المدخل. ثم تقوم بمقارنة هذا المتجه المتبادل مع المتجهات الفردية لكل صورة لتكوين بوابات لكل صورة مدخلة. ترث هذه المتجهات البوابية سياقًا متبادلًا حول الفروقات الدلالية، مما يمكّن API-Net من التقاط المؤشرات التمييزية بعناية من خلال التفاعل الزوجي بين الصورتين. علاوةً على ذلك، نُدرّب API-Net بطريقة نهائية (end-to-end) باستخدام تنظيم ترتيب الدرجات، والذي يُعزز من قدرة التعميم على التعرف على التصنيفات الدقيقة من خلال أخذ الأولويات في الميزات بعين الاعتبار. أجرينا تجارب واسعة على خمسة معايير شهيرة في تصنيف الصور الدقيقة. وتبين أن API-Net تتفوق على أحدث الطرق المتفوقة (SOTA)، حيث حققت نتائج مميزة على: CUB-200-2011 (90.0%)، Aircraft (93.9%)، Stanford Cars (95.3%)، Stanford Dogs (90.3%)، وNABirds (88.1%).