FeatUp: إطار عام لخصائص بأي دقة

الخصائص العميقة هي ركيزة أساسية في بحوث الرؤية الحاسوبية، حيث تلتقط معاني الصور وتتيح للمجتمع حل المهام اللاحقة حتى في ظروف عدم وجود أمثلة أو قلة الأمثلة. ومع ذلك، غالباً ما تفتقر هذه الخصائص إلى الدقة المكانية اللازمة لتنفيذ مهام التنبؤ الكثيف مثل التقطيع والتنبؤ بالعمق بسبب قيام النماذج بتجميع المعلومات بشكل عدواني على مناطق واسعة.في هذا البحث، نقدم FeatUp، وهو إطار عام لا يعتمد على المهمة أو النموذج لاستعادة المعلومات المكانية المفقودة في الخصائص العميقة. نقدم نوعين من FeatUp: الأول يستخدم إشارة ذات دقة عالية لإرشاد الخصائص في عملية تمرير واحدة، والثاني يناسب نموذجاً ضمنياً لصورة واحدة لإعادة بناء الخصائص بأي دقة. كلتا الطريقتين تستخدمان خسارة التجانس متعدد الآراء مع تشابهات عميقة لنماذج NeRFs (Neural Radiance Fields).خصائصنا تحتفظ بمعانيها الأصلية ويمكن استبدالها في التطبيقات القائمة للحصول على مكاسب في الدقة والأداء حتى دون إعادة التدريب. نظهر أن FeatUp يتفوق بشكل كبير على طرق زيادة حجم الخصائص الأخرى وتحسين صور الفيديو في إنشاء خرائط التنشيط الفئوية، والتعلم النقل للتقسيم والتنبؤ بالعمق، والتدريب الشامل للتقسيم الدلالي.