الانتباه الفضائي-الدّلالي العميق للبحث الدقيق القائم على الرسم التخطيطي الصغير للصور

الرسومات اليدوية البشرية تتميز بقدرتها على التقاط كل من البنية المكانية للكائن البصري، فضلاً عن التفاصيل الدقيقة في مظهره. وتعتمد مهمة استرجاع الصور القائمة على الرسومات الدقيقة (FG-SBIR) بشكل مهم على هذه الخصائص الدقيقة للرسومات لتنفيذ استرجاع على مستوى المثيل للصور. ومع ذلك، فإن الرسومات اليدوية غالبًا ما تكون مبسطة للغاية ورمزية، مما يؤدي إلى انحرافات شديدة عن الصور المرشحة، وبالتالي يجعل مطابقة التفاصيل البصرية الدقيقة أمرًا صعبًا. تركز النماذج الحالية لـ FG-SBIR فقط على المطابقة الشاملة الخشنة من خلال تعلم تمثيل عميق عبر المجالات المختلفة، مع تجاهل التعبير الصريح عن التفاصيل الدقيقة وسياقها المكاني. في هذا البحث، تم اقتراح نموذج جديد عميق لـ FG-SBIR يختلف بشكل ملحوظ عن النماذج الحالية في ما يلي: (1) أنه يمتلك وعيًا مكانيًا، وذلك من خلال إدخال وحدة انتباه حساسة لموقع التفاصيل البصرية في الفضاء؛ (2) يدمج بين المعلومات الدلالية الخشنة والدقيقة من خلال بلوك دمج مبني على اتصال مُباشر (shortcut connection); و(3) يُنشئ نموذجًا للارتباط بين الميزات ويكون مقاومًا للانحرافات بين الميزات المستخرجة عبر المجالين من خلال إدخال دالة طاقة قابلة للتعلم من الدرجة العليا (HOLEF) مبنية على خوارزمية خسارة جديدة. أظهرت التجارب الواسعة أن النموذج العميق المبني على الانتباه المكاني-الدالي المُقترح يتفوق بشكل كبير على أحدث النماذج المطورة.