Earthformer: استكشاف نماذج التحويل المكانية-الزمانية لتوقعات نظام الأرض

بشكل تقليدي، تعتمد توقعات نظام الأرض (مثل الطقس والمناخ) على المحاكاة العددية باستخدام نماذج فيزيائية معقدة، وبالتالي فهي مكلفة من حيث الحساب وتتطلب خبرة متخصصة في المجال. ومع النمو المتسارع للبيانات المكانية-الزمانية لرصد الأرض خلال العقد الماضي، أظهرت النماذج القائمة على البيانات والتي تطبق التعلم العميق (DL) إمكانات ملحوظة في مجموعة متنوعة من مهام توقعات نظام الأرض. رغم النجاح الواسع الذي حققته هندسة التحويل (Transformer) كهندسة ناشئة للتعلم العميق في مجالات أخرى، فإن استخدامها في هذا المجال محدود. في هذه الورقة البحثية، نقترح "Earthformer"، وهو تحويل مكاني-زماني لنظام الأرض. يعتمد Earthformer على كتلة انتباه فضائي-زماني عامة ومرونة وكفاءة، تُعرف باسم "Cuboid Attention" (انتباه الكتل المتوازية). الفكرة هي تفكيك البيانات إلى كتل متوازية وتطبيق انتباه ذاتي على مستوى الكتلة المتوازية بشكل متوازي. يتم ربط هذه الكتل المتوازية بمجموعة من المتجهات العالمية. أجرينا التجارب على مجموعة بيانات MovingMNIST وعلى مجموعة بيانات N-body MNIST الفوضوية المقترحة حديثًا لتأكيد فعالية انتباه الكتل المتوازية ولتحديد أفضل تصميم لـ Earthformer. أظهرت التجاربات على مقاييسين حقيقيين يتعلقان بتوقع الهطول الحالي وتوقع ظاهرة النينيو/التأرجح الجنوبي (ENSO) أن Earthformer يحقق أداءً قياسيًا. الرمز البرمجي متاح: https://github.com/amazon-science/earth-forecasting-transformer .