CARAFE: إعادة تجميع السمات وعي بالمحتوى

التكبير المميز هو عملية أساسية في العديد من هياكل الشبكات التلافيفية الحديثة، مثل الهرم المميز. تصميمه حاسم للمهام التنبؤ الكثيف مثل اكتشاف الأشياء والتقسيم الدلالي/المثلي. في هذا البحث، نقترح إعادة تجميع المميزات واعية للمحتوى (CARAFE)، وهي عامل عام وخفة الوزن وفعال للغاية لتحقيق هذا الهدف.لدى CARAFE عدة خصائص جذابة:1. مجال رؤية واسع. على عكس الأعمال السابقة (مثل الاستكمال الثنائي الخطي) التي تستغل فقط الجوار الفرعي للبكسل، يمكن لـ CARAFE جمع المعلومات السياقية ضمن مجال استقبال كبير.2. التعامل الواعي بالمحتوى. بدلاً من استخدام نواة ثابتة لجميع العينات (مثل الإعادة التلافيفية)، يتيح CARAFE التعامل الواعي بالمحتوى والمحدد لكل مثال، مما يولد نواة متكيفة على الطاير.3. خفة الوزن وسرعة الحساب. يضيف CARAFE قليلًا من العبء الحسابي ويمكن دمجه بسهولة في هياكل الشبكات الحديثة.أجرينا تقييمات شاملة على مقاييس مرجعية قياسية في اكتشاف الأشياء والتقسيم المثلي/الدلالي وإعادة الرسم. أظهرت CARAFE مكاسب ثابتة وكبيرة عبر جميع المهام (1.2٪، 1.3٪، 1.8٪، 1.1 ديسيبل على التوالي) مع عبء حسابي قليل بشكل ملحوظ. لديها إمكانات كبيرة لأن تكون كتلة بنائية قوية للأبحاث المستقبلية.يمكن الوصول إلى الكود والنموذج من خلال الرابط: https://github.com/open-mmlab/mmdetection.