MTP: تقديم نموذج أساسي للاستشعار عن بعد من خلال التدريب المسبق متعدد المهام

النماذج الأساسية قد غيرت وجهة مجال الاستشعار عن بعد (RS) من خلال تحسين مهام تفسير الصور المختلفة. يعد التدريب المسبق موضوعًا بحثيًا نشطًا، يشمل طرق التعلم الإشرافي والتعلم الذاتي الإشرافي لتهيئة أوزان النموذج بشكل فعال. ومع ذلك، قد يواجه نقل النماذج المدربة مسبقًا إلى المهام اللاحقة اختلافًا في المهمة بسبب صياغتهم للتدريب المسبق كمهام تصنيف الصور أو تمييز الأشياء. في هذه الدراسة، نستكشف نموذج التدريب المسبق متعدد المهام (MTP) للنماذج الأساسية في الاستشعار عن بعد لمعالجة هذه المشكلة. باستخدام هندسة مشفر مشترك ومشفر خاص بالمهمة، نقوم بالتدريب الإشرافي متعدد المهام على مجموعة بيانات SAMRS، والتي تشمل تقسيم الدلالة، تقسيم الحالات، وكشف الأشياء المحولة. يدعم MTP كلًا من شبكات العصب المتكررة والمتغيرات البصرية للنماذج الأساسية التي تحتوي على أكثر من 300 مليون معلمة. يتم ضبط النماذج المدربة مسبقًا بشكل دقيق على مهام مختلفة للاستشعار عن بعد مثل تصنيف المشاهد، وكشف الأشياء الأفقية والمحولة، وتقسيم الدلالة، وكشف التغييرات. تظهر التجارب الواسعة عبر 14 مجموعة بيانات تفوق نماذجنا على النماذج الموجودة حاليًا من الحجم نفسه وأدائها التنافسي مقارنة بالنماذج الأكثر تقدمًا والأكبر حجمًا، مما يؤكد فعالية MTP.