جامعة كولومبيا تطلق نسخة مطورة من الشبكة العصبية Org-NN للتنبؤ بدقة بهطول الأمطار الغزيرة

نظرة عامة على المحتويات:مع تزايد حدة التغيرات البيئية، حدثت ظواهر جوية متطرفة بشكل متكرر في جميع أنحاء العالم في السنوات الأخيرة. إن التنبؤ الدقيق بكثافة هطول الأمطار أمر مهم للغاية بالنسبة للإنسان والبيئة الطبيعية. النموذج التقليدي يتنبأ بهطول الأمطار مع اختلاف بسيط، ويميل إلى التنبؤ بهطول أمطار خفيفة، ويقلل من توقعات هطول الأمطار الغزيرة.
الكلمات الرئيسية:شبكات التعلم الضمني العصبية للطقس القاسي
نُشرت هذه المقالة لأول مرة على منصة HyperAI WeChat العامة~
شهدت بكين، التي تأثرت بإعصار دوسوروي، هطول أمطار غزيرة لعدة أيام متتالية منذ 29 يوليو/تموز، حيث شهدت بعض المناطق أمطارًا غزيرة للغاية. تسببت الأمطار الغزيرة للغاية في حدوث فيضانات واسعة النطاق في حوض نهر هايخه، كما حدثت كوارث فيضانات خطيرة في مينتوغو وتشوزو وأماكن أخرى.
وبحسب تقرير موقع CCTV.com في 31 يوليو/تموز، فقد قامت بكين خلال هذه الأمطار الغزيرة بتصريف أكثر من 10 ملايين متر مكعب من المياه، وهو ما يعادل تجفيف حوالي خمس بحيرات كونمينغ في القصر الصيفي.إن التنبؤ في الوقت المناسب والدقيق والفعال بالأمطار الغزيرة يمكن أن يقلل من الإصابات ويقلل الخسائر الناجمة عن الكوارث الجوية.
تفتقر معلمات نموذج المناخ التقليدي إلى معلومات حول بنية السحب وتنظيمها على نطاق الشبكة الفرعية، مما يؤثر على شدة وعشوائية هطول الأمطار بدقة عالية، مما يؤدي إلى عدم القدرة على التنبؤ بدقة بظروف هطول الأمطار المتطرفة.استخدم مختبر LEAP التابع لجامعة كولومبيا محاكاة تحليل العواصف العالمية والتعلم الآلي لإنشاء خوارزمية جديدة تعالج مشكلة المعلومات المفقودة وتوفر طريقة تنبؤ أكثر دقة.
حاليًا، تم نشر البحث في مجلة الأكاديمية الوطنية للعلوم، وعنوان المقال هو "التعلم الضمني للتنظيم الحملي يفسر عشوائية هطول الأمطار".

تم نشر الورقة في مجلة الأكاديمية الوطنية للعلوم
عنوان الورقة: https://www.pnas.org/doi/10.1073/pnas.2216158120#abstract
التحضير: 10 أيام من بيانات الطقس + شبكتين عصبيتين
البيانات والمعالجة
مجموعة البيانات التي يستخدمها الفريق التجريبي هيدايموند (ديناميكيات الدورة العامة للغلاف الجوي بناءً على المجالات غير الهيدروستاتيكية) جزء من ديناميكيات الدورة الجوية التي تمت محاكاتها خلال مشروع المقارنة للمرحلة الثانية. قام هذا المشروع بمحاكاة 40 يومًا من الشتاء في نصف الكرة الشمالي. استخدم الباحثون العشرة أيام الأولية كبداية للنموذج ثم اختاروا بشكل عشوائي عشرة أيام في الثلاثين يومًا التالية كمجموعة تدريب.
قام الباحثون بإختيار البيانات المناسبة.هذه البيانات عبارة عن بيانات خشنة الحبيبات ومقسمة إلى مجالات فرعية ذات شبكات مساوية أو قابلة للمقارنة بحجم GCM.
وبعد ذلك، من أجل توفير مجموعات البيانات للتدريب والتحقق والاختبار، قام الفريق بتقسيم الأيام العشرة إلى 6 أيام ويومين ويومين للتدريب والتحقق والاختبار على التوالي.يتم الاحتفاظ فقط بالعينات التي يزيد معدل هطول الأمطار فيها عن الحد الأقصى (0.05 مم/ساعة) حتى نتمكن من التركيز فقط على شدة هطول الأمطار بدلاً من سبب هطول الأمطار. . وأخيراً أصبح العدد الإجمالي للعينات 108.
هندسة الشبكات العصبية
وفي تجاربهم، استخدم الباحثون شبكتين عصبيتين:النموذج التقليدي Baseline-NN (الشبكة العصبية الأساسية) وOrg-NN المقترحة حديثًا .
Baseline-NN عبارة عن شبكة تغذية أمامية متصلة بالكامل بمعدل تعلم يتم تعديله لكل جيل.باعتباره نموذجًا تقليديًا، لا يستطيع Baseline-NN سوى الوصول إلى المتغيرات واسعة النطاق والتنبؤ بهطول الأمطار.
تحتوي Org-NN على مشفر ذاتي، يتضمن جزء المشفر الخاص به ثلاث طبقات ملتوية أحادية البعد وطبقتين متصلتين بالكامل.. المدخل إلى المشفر هو شذوذ PW (الماء القابل للترسيب) عالي الدقة بحجم 32 × 32، والمخرج هو متغير تنظيمي. البعد التنظيمي هو معلمة فرعية للشبكة، وقد حددها الباحثون عند 4. يستقبل جهاز فك التشفير متغير org ويعيد بناء الحقل الأصلي عالي الدقة، وهو عكس بنية جهاز التشفير. يعتبر جزء الشبكة العصبية من Org-NN مشابهًا لـ Baseline-NN، مع إضافة متغير كامن تنظيمي (org) كمدخل له. .
تم تنفيذ كليهما باستخدام TensorFlow الإصدار 2.9، وتم ضبط المعلمات الفائقة باستخدام مكتبة تحسين Sherpa.
النتائج التجريبية
قام الفريق التجريبي بتدريب نموذجين مسبقًا.لتقييم الأداء التنبئي للشبكة العصبية، اختار الباحثون R2، وهو مقياس يستخدم عادة لقياس أداء نماذج الانحدار.. صيغة الحساب هي كما يلي:

خط الأساس للنموذج التقليدي-NN
استخدم الفريق التجريبي أولاً Baseline-NN.يوضح الشكل أدناه إمكانية التنبؤ بالهطول عند استخدام PW وSST وqv2m وT2m ذات الحبيبات الخشنة كمدخلات. من بينها، يتم استخدام qv2m وT2m لتوفير معلومات حالة الطبقة الحدودية إلى Baseline-NN. قام الفريق التجريبي بتقسيم المياه الجوفية ذات الحبيبات الخشنة إلى مجموعات وقام بحساب متوسط القيم المتوقعة والفعلية لهطول الأمطار ذات الحبيبات الخشنة في كل مجموعة.كما تم حساب تباين قيم هطول الأمطار ذات الحبيبات الخشنة ضمن كل مجموعة..
كلمة المرور: المياه القابلة للترسيب
درجة حرارة سطح البحر:درجة حرارة سطح البحر، درجة حرارة سطح البحر
السؤال 2: الرطوبة النوعية بالقرب من السطح
T2m:رطوبة الهواء 2 متر بالقرب من السطح، درجة حرارة السطح

الشكل 1: متوسط قيمة هطول الأمطار الخشنة الحبيبات على حاوية المياه العذبة
خط منقط:متوسط هطول الأمطار الحقيقي
الخط البرتقالي:متوسط هطول الأمطار المتوقع
الخط الأخضر:R2 محسوب في كل صندوق PW
ظل:التباين داخل كل مجموعة
يستعيد Baseline-NN بدقة السلوكيات الرئيسية لمتوسط هطول الأمطار (أي متوسط المجموعات) في ظل ظروف PW، بالإضافة إلى التحولات السريعة التي تحدث بالقرب من النقاط الحرجة. لكن،توصل الفريق التجريبي إلى أنه لا يستطيع تفسير تباين هطول الأمطار الذي لوحظ في عمليات محاكاة العواصف العالمية، وأداؤها (الذي يتم قياسه من خلال قيمة R2 لجميع العينات) يبلغ حوالي 0.45. تشير قيمة R2 المنخفضة إلى أنوعلى الرغم من إمكانية رصد بعض التغيرات في هطول الأمطار، إلا أنه لا يمكن العثور على علاقة قوية بين المدخلات وهطول الأمطار.، ولم تتجاوز قيمة R2 المحسوبة لكل صندوق PW 0.5.
وفي الوقت نفسه، قام الفريق التجريبي أيضًا بمقارنة دالة كثافة احتمال هطول الأمطار المتوقعة بواسطة Baseline-NN مع هطول الأمطار الفعلي.وهذا يوضح أن النموذج لا يستطيع التنبؤ بذيل توزيع هطول الأمطار، أي أنه لا يستطيع التنبؤ بهطول الأمطار الغزيرة..

الشكل 2: مخطط تخطيطي لدالة كثافة احتمالية هطول الأمطار
الجزء الأزرق:دالة كثافة احتمالية هطول الأمطار الفعلي
الجزء البرتقالي:دالة كثافة احتمالية هطول الأمطار المتوقعة
كما استخدم الباحثون الغطاء السحابي الكلي على مستوى الحبيبات الخشنة كأحد المدخلات للشبكة العصبية لمزيد من اختبار Baseline-NN.. يعتبر الغطاء السحابي الكلي متغيرًا معلمًا في نماذج المناخ وليس له علاقة مباشرة بهطول الأمطار، لذا فإن استخدامه كمدخل للشبكة العصبية قد يوفر أدلة حول التكثيف، والذي يستخدم بشكل مباشر في معلمة هطول الأمطار. في الواقع، لا يؤدي هذا إلى تحسين التوقعات إلا قليلاً، ولكنه يسلط الضوء على أن الغطاء السحابي المتوسط لا يوفر معلومات ذات صلة للتنبؤ بدقة بهطول الأمطار. بالإضافة إلى ذلك، أجرى الفريق التجريبي تحليلات إضافية.وقد تم التأكيد على أن CAPE وCIN لا يمكن استخدامهما كمتنبئين ولا يمكنهما تحسين نتائج التنبؤ..

الشكل 3: دالة كثافة احتمالية هطول الأمطار
الجزء الأزرق:دالة كثافة احتمالية هطول الأمطار الحقيقية
الجزء البرتقالي:توقع دالة كثافة احتمال هطول الأمطار
أ: المدخل هو [PW، SST، qv2m، T2m، تدفق الحرارة الحسية، تدفق الحرارة الكامنة]
ب: المدخل هو [PW، SST، qv2m، T2m، إجمالي الغطاء السحابي]
ج: المدخل هو [PW، SST، qv2m، T2m، CAPE، CIN]
الاستنتاج هو أن Baseline-NN لديه قدرة منخفضة في التنبؤ بدقة بهطول الأمطار والتقلبات..
نموذج جديد من منظمة NN
ثم قام الفريق التجريبي بإلغاء الطريقة التقليدية واستخدام Org-NN للتنبؤ. نظرًا لأن Org-NN يحتوي على مشفر ذاتي، فيمكنه تلقي ردود الفعل مباشرة من الدالة الموضوعية للشبكة العصبية من خلال الانتشار الخلفي.وبالتالي، سيكون المشفر التلقائي قادرًا على استخراج المعلومات ذات الصلة بشكل سلبي لتحسين توقعات هطول الأمطار.
يوضح الشكل أدناه نتائج التنبؤ بالهطول لـ Org-NN مع المتغيرات ذات الحبيبات الخشنة وorg كمدخلات. بالمقارنة مع Baseline-NN، حقق Org-NN تقدمًا كبيرًا. عند حسابها على جميع نقاط البيانات، تزداد قيمة R2 المتوقعة إلى 0.9. بالنسبة لكل فترة من PW، باستثناء الفترة ذات هطول الأمطار الأصغر، تكون قيم R2 المحسوبة قريبة تقريبًا من 0.80.

الشكل 4: نتائج التنبؤ بـ Org-NN
د: متوسط قيمة هطول الأمطار الخشنة الحبيبات على سلة المياه العذبة
هـ:مخطط تخطيطي لدالة كثافة احتمالية هطول الأمطار
ف:قيم R2 المحسوبة على خطوة زمنية لكل موقع من خطوط العرض والطول في الشكل D. تشير المناطق البيضاء في الشكل إلى هطول أمطار أقل من 0.05 مم/ساعة ويتم استبعادها من إدخال النموذج. باستثناء المناطق القريبة من النقاط التي لم تصل إلى عتبة هطول الأمطار، كانت قيم R2 لـ Org-NN في معظم المناطق أعلى بشكل ملحوظ من 0.8.
قام الفريق التجريبي بمقارنة وظائف كثافة الاحتمالية لهطول الأمطار الحقيقي لـ Org-NN ونماذج هطول الأمطار عالية الدقة لقياس أداء Org-NN بشكل أكبر. وجد أن Org-NN يلتقط بشكل كامل دالة كثافة الاحتمالية، بما في ذلك ذيل توزيعها، والذي يتوافق مع هطول الأمطار الشديد.وهذا يوضح أن Org-NN يمكنه التنبؤ بدقة بهطول الأمطار الغزيرة..
وتظهر النتائج التي حصل عليها الفريق التجريبي أن دمج org في المدخلات أدى إلى تحسين توقعات هطول الأمطار بشكل كبير. ويشير هذا إلى أن البنية على نطاق الشبكة الفرعية قد تكون معلومات مفقودة مهمة في معلمات الحمل الحراري وهطول الأمطار في نماذج المناخ الحالية..
ملخص العملية التجريبية

الشكل 5: نظرة عامة على العملية التجريبية
أعملية معالجة البيانات: بيانات عالية الدقة ذات حبيبات خشنة
ب:Baseline-NN: تستقبل هذه الشبكة متغيرات واسعة النطاق (مثل درجة حرارة سطح البحر ودرجة حرارة الماء) كمدخلات وتتنبأ بهطول الأمطار واسعة النطاق.
ج:Org-NN: يوضح الشكل الموجود على اليسار المشفر التلقائي، الذي يستقبل كلمة مرور عالية الدقة كمدخل ويعيد بنائه بعد المرور عبر عنق الزجاجة. يوضح الشكل الموجود على اليمين شبكة عصبية تتنبأ بهطول الأمطار على نطاق واسع.
نماذج المناخ التقليدية على وشك التغيير
جاء فريق هذه التجربة من تعلم الأرض باستخدام الذكاء الاصطناعي والفيزياء (LEAP)، وهو مركز العلوم والتكنولوجيا التابع لمؤسسة العلوم الوطنية والذي أطلقته جامعة كولومبيا في عام 2021،وتتمثل استراتيجية البحث الرئيسية في الجمع بين النمذجة الفيزيائية والتعلم الآلي، باستخدام الخبرة في علم المناخ ومحاكاة المناخ مع خوارزميات التعلم الآلي المتطورة لتحسين التنبؤات المناخية على المدى القريب.. وسوف يكون هذا مفيدًا لكل من علم المناخ وعلم البيانات.

مقدمة موجزة عن بعض أعضاء مختبر LEAP
الموقع الرسمي للمختبر: https://leap.columbia.edu
ويقوم الباحثون حاليًا بتطبيق نهج التعلم الآلي على نماذج المناخ.تحسين توقعات شدة هطول الأمطار وتقلباتها وتمكين العلماء من التنبؤ بشكل أكثر دقة بالتغيرات في دورة المياه وأنماط الطقس المتطرفة في سياق الانحباس الحراري العالمي.
وفي الوقت نفسه، تفتح هذه الدراسة أيضًا اتجاهات بحثية جديدة، مثل استكشاف إمكانية أن يكون لهطول الأمطار تأثير الذاكرة، أي أن الغلاف الجوي يحتفظ بالمعلومات حول الظروف الجوية الأخيرة، مما يؤثر بدوره على الظروف الجوية اللاحقة. يمكن أن يكون للطريقة الجديدة تطبيقات واسعة تتعدى محاكاة هطول الأمطار، مثل محاكاة أفضل للصفائح الجليدية وأسطح المحيطات.
نُشرت هذه المقالة لأول مرة على منصة HyperAI WeChat العامة~