دراسة تجريبية للتدريب المسبق للاستشعار عن بعد

لقد أعاد التعلم العميق تشكيل بحوث الاستشعار عن بعد (RS) في فهم الصور الجوية وأحرز نجاحًا كبيرًا. ومع ذلك، يتم تهيئة معظم النماذج العميقة الحالية بأوزان ImageNet المدربة مسبقًا. نظرًا لوجود فجوة مجال كبيرة لا مفر منها بين الصور الطبيعية والصور الجوية، فمن المحتمل أن يحد هذا الأمر من أداء التعديل الدقيق على مهام المشاهد الجوية اللاحقة. هذا问题是 ما دفعنا إلى إجراء دراسة تجريبية للتهيئة المسبقة في الاستشعار عن بعد (RSP) على الصور الجوية. لهذا الغرض، قمنا بتدريب شبكات مختلفة من الصفر باستخدام أكبر مجموعة بيانات للاعتراف بالمشاهد في الاستشعار عن بعد حتى الآن -- MillionAID، للحصول على سلسلة من الهياكل الخلفية المدربة مسبقًا في الاستشعار عن بعد، والتي تشمل كلًا من الشبكات العصبية التلافيفية (CNN) ومتغيرات الرؤية مثل Swin و ViTAE، التي أظهرت أداءً واعدًا في مهام رؤية الكمبيوتر. ثم قمنا بفحص تأثير RSP على مهام لاحقة تمثيلية مثل الاعتراف بالمشهد والتقسيم الدلالي وكشف الأشياء وكشف التغيير باستخدام هذه الهياكل الخلفية من الشبكات العصبية التلافيفية ومتغيرات الرؤية. أظهرت الدراسة التجريبية أن RSP يمكن أن يساعد في تحقيق أداءات متميزة في مهام الاعتراف بالمشهد وفي استشعار الدلالات المتعلقة بالاستشعار عن بعد مثل "الجسر" و "الطائرة". كما اكتشفنا أن RSP رغم تخفيفه للاختلافات البيانات الناجمة عن التهيئة المسبقة التقليدية ImageNet على صور الاستشعار عن بعد، قد يظل يعاني من اختلافات مهمة حيث تتطلب المهام اللاحقة تمثيلات مختلفة عن تلك اللازمة لمهمة الاعتراف بالمشهد. هذه النتائج تستدعي جهود بحث إضافية حول كلاً من مجموعات البيانات الكبيرة للتهيئة المسبقة والطرق الفعالة للتهيئة المسبقة. سيتم إطلاق الأكواد والنماذج المدربة مسبقًا على الرابط: https://github.com/ViTAE-Transformer/ViTAE-Transformer-Remote-Sensing.