نماذج الانتباه الزمني متعددة الوسائط لرسم خرائط المحاصيل من سلاسل زمنية للأقمار الصناعية

تُعدّ الصور البصرية وصور الأقمار الصناعية الرادارية المتسلسلة زمنيًا مكملة لبعضها البعض: فالمُستَخدَمات البصرية تحتوي على معلومات طيفية غنية، بينما تُسجّل صور الرادار بتردد C معلومات هندسية مفيدة، وتمتاز بمقاومتها لغطاء السحب. مستلهمين من النجاح الأخير للطرق القائمة على الانتباه الزمني في مهام متعددة لرسم خرائط المحاصيل، نقترح دراسة كيفية تكييف هذه النماذج للعمل على عدة وسائط. قمنا بتنفيذ وتقييم عدة أساليب دمج، تشمل منهجًا جديدًا وتعديلات بسيطة على إجراء التدريب، ما أدى إلى تحسين كبير في الأداء والكفاءة مع إضافة تكاليف معقولة جدًا من حيث التعقيد. ونُظهر أن معظم أساليب الدمج تمتلك مزايا وعيوب، ما يجعلها مناسبة لسياقات محددة. ثم قمنا بتقييم فوائد التعددية الوسائط عبر عدة مهام: تصنيف الحقول، التجزئة على مستوى البكسل، والتمييز الشامل للحقول. ونُظهر أن الاستفادة من كل من التسلسل الزمني البصري والراداري تمكن النماذج الزمنية القائمة على الانتباه من التفوق على النماذج ذات الوسيط الواحد من حيث الأداء والمقاومة لغطاء السحب. ولإجراء هذه التجارب، قمنا بتوسيع مجموعة بيانات PASTIS بإضافة تسلسلات زمنية لصور رادارية مُتماشية مكانيًا. وتشكل المجموعة الناتجة، PASTIS-R، أول مجموعة بيانات كبيرة النطاق، متعددة الوسائط، ومتاحة للجميع، تتضمن سلسلة زمنية للأقمار الصناعية مع تسميات دلالية وتحديد للهويات.