حل مشاكل صوامع البيانات واستهلاك الحوسبة وتراكم الأخطاء، سو روي من مختبر الذكاء الاصطناعي في شنغهاي: حقق FengWu-GHR اختراقات متعددة في التنبؤ بالطقس باستخدام الذكاء الاصطناعي

"قبل ظهور أساليب الذكاء الاصطناعي، كان الأمر يستغرق 10 سنوات لتحسين مهارات التنبؤ بالطقس بيوم واحد، ولكن بعد إدخال الذكاء الاصطناعي، يمكن تحسين مهارات التنبؤ في غضون بضعة أشهر."

في منتدى "الذكاء الاصطناعي من أجل العلوم" في مؤتمر بكين تشي يوان 2024، استعرض سو روي، وهو باحث شاب في مختبر الذكاء الاصطناعي في شنغهاي، التطور التاريخي للتنبؤ بالطقس باستخدام الذكاء الاصطناعي، وناقش بعمق التحديات التي تواجه هذا المجال، وقدم بشكل شامل نتائج أبحاث فريقه FengWu-GHR.

قام HyperAI بتجميع وتلخيص المشاركة المتعمقة للأستاذ Su Rui دون انتهاك النية الأصلية. دعونا نكتشف أحدث التطورات في مجال الأرصاد الجوية بالذكاء الاصطناعي!

اليوم،الموضوع الذي سأشاركه معكم هو "استكشاف المستقبل، والتحكم الذكي في الطقس - التقدم الرائد للذكاء الاصطناعي في أبحاث علوم الأرض".

يشير ما يسمى بأبحاث علوم الأرض بشكل أساسي إلى دراسة الغلاف الجوي والغلاف المحيطي والمحيط الحيوي والغلاف الصخري والتفاعلات والتبادلات وعمليات الدورة فيما بينها. في الواقع، سيكون لدورة الغلاف الجوي والمحيطات تأثير كبير على الأرصاد الجوية والمناخ والنظام البيئي للأرض وما إلى ذلك. إن محاكاة وتحليل التغيرات في الغلاف الجوي والمحيطات، ثم التنبؤ بالطقس والمناخ وما إلى ذلك، أمر بالغ الأهمية للتنمية البشرية المستدامة.

التنبؤ بالذكاء الاصطناعي مقابل التنبؤ الرقمي

لقد تم في الماضي تحقيق تقدم كبير في أبحاث نماذج التنبؤ الرقمية القائمة على الفيزياء، ولكن تطويرها لا يزال بطيئًا والطلب على قوة الحوسبة كبير جدًا. مع التطبيق الناجح للتعلم العميق والذكاء الاصطناعي في مختلف المجالات، بدأت المزيد والمزيد من مؤسسات البحث في محاولة استخدام الأساليب القائمة على البيانات للتنبؤ بالطقس.

على سبيل المثال،المركز الأوروبي للتنبؤات الجوية متوسطة المدى هو هيئة معترف بها دوليا.منذ عام 2018، أخذنا زمام المبادرة في محاولة استخدام تقنية التعلم العميق للتنبؤ بالطقس، ولكن بسبب البيانات الجوية منخفضة الدقة في ذلك الوقت، كان تأثير هذه المحاولة متوسطًا.

فبراير 2022أطلقت NVIDIA نموذج الطقس FourCastNetولأول مرة، تم إجراء التوقعات على أساس البيانات الجوية عالية الدقة 0.25 درجة، ولكن النموذج لم يتجاوز بعد نموذج التوقعات الرقمية المادية الذي يستخدمه المركز الأوروبي للتنبؤات الجوية متوسطة المدى، وهذا النموذج لا يستطيع التنبؤ إلا بعدد صغير من العناصر الجوية.

نوفمبر 2022هواوي تطلق نموذج الطقس Panguوقد اعتبر الإعلان عن تفوق النموذج على نموذج IFS التابع للمركز الأوروبي للتنبؤات الجوية متوسطة المدى في البيانات الجوية عالية الدقة بمثابة إنجاز كبير.

بعد شهر واحد،ديب مايند  أطلقت الشركة نموذج الطقس GraphCast.الميزة الرئيسية لهذا النموذج هي أنه يمكنه التنبؤ بمزيد من العناصر الجوية المختلفة.

أبريل 2023أطلق فريقنا (مختبر الذكاء الاصطناعي في شنغهاي) نموذجه الجوي واسع النطاق FengWu،وبالمقارنة مع جميع النماذج السابقة، حققت FengWu تحسينات كبيرة في الأداء.

نموذج FengWu المدعوم بالذكاء الاصطناعي يحقق القدرة المثلى على التنبؤ بمسار الإعصار

التوقعات المتجددة، مصدر إلهام نموذج FengWu

إذا قمنا بنشر الأرض على شكل مستوى وقسمنا المستوى إلى شبكية، فإننا نقسم خطوط الطول والعرض للكرة الأرضية إلى دقة مكانية تبلغ 0.25 درجة (أي ما يعادل مقياسًا يبلغ حوالي 25 كيلومترًا). وهذا يعني أن الكرة الأرضية مقسمة إلى حوالي 720×1440 نقطة شبكية، كل منها مقسمة إلى 37 مستوى مختلفًا في الارتفاع الرأسي، وتشمل 169 متغيرًا مثل درجة الحرارة والرطوبة وسرعة الرياح ودرجة حرارة سطح البحر وسرعة الرياح السطحية. التنبؤ بالطقس هو التنبؤ بالتغيرات المستقبلية في مجال العناصر الجوية العالمية بناءً على مجال العناصر الجوية العالمية.

بعد تحليل بيانات حقل العناصر الجوية العالمية كل ساعة على مدى السنوات الأربعين الماضية، وجد فريقنا أن حقل العناصر الجوية العالمية في كل لحظة هو في الواقع تعليق طبيعي لحقل العناصر في اللحظة السابقة. لذلك، وبدون الحاجة إلى بيانات إضافية مُسمّاة، نحتاج فقط إلى التنبؤ بالعلاقة بين حقول العناصر الجوية في نقطتين زمنيتين متجاورتين للتنبؤ بالتغيرات المستقبلية في حقول العناصر الجوية.هذا هو الإلهام الأصلي لنموذج FengWu.

على وجه التحديد، بعد أن يتنبأ نموذج FengWu بحقل العنصر الجوي في اللحظة التالية، فإنه يستخدمه كمدخل للتنبؤ بحقل العنصر الجوي في اللحظة التالية، وهكذا.يمكن لمثل هذه التوقعات المتجددة أن تنتج حقل العناصر الجوية الذي سيتم التنبؤ به خلال الأيام الـ 14 القادمة.

ميزتان رئيسيتان: مهارات التنبؤ على المدى الطويل + كفاءة حوسبة عالية

يتمتع نموذج FengWu بميزتين رئيسيتين.الأول هو أن يكون لديك مهارات التنبؤ بالتقدم على المدى الطويل،من الممكن تحقيق قدرة التنبؤ لمدة 10.75 يومًا. في الواقع، قبل ظهور أساليب الذكاء الاصطناعي، كان نموذج التنبؤ الرقمي القائم على الفيزياء قادرًا على تحسين مهارة التنبؤ بمعدل يوم واحد كل 10 سنوات في المتوسط. بعد إدخال الذكاء الاصطناعي، يمكن تحسين مهارة التنبؤ في غضون بضعة أشهر فقط.

ميزة أخرى لنموذج FengWu هي الكفاءة الحسابية.في الماضي، كان نموذج التنبؤ الرقمي القائم على الفيزياء يتطلب تشغيل 10 آلاف عقدة حاسوبية لمدة ساعة واحدة لتوليد نتائج التنبؤ للأيام العشرة القادمة. يحتاج نموذج FengWu إلى تشغيل وحدة معالجة رسومية واحدة فقط لمدة 30 ثانية لإكمال نتائج التنبؤ في نفس الوقت، وهو أسرع بأكثر من 2000 مرة من الطرق التقليدية.

مشاعر مختلطة: نقاط قوة وتحديات فينج وو في التنبؤ بالأعاصير

من أجل تقييم قدرة نموذج FengWu على التنبؤ بمسار الإعصار، قام فريقنا باختباره باستخدام بيانات الأعاصير بعد عام 2023، وقارن نتائج الاختبار مع نتائج المركز الأوروبي للتنبؤات الجوية متوسطة المدى، والوكالة اليابانية للأرصاد الجوية، ومكتب الطقس الأمريكي ومؤسسات أخرى.

وتظهر النتائج أنه عندما يتم التنبؤ بمسار الإعصار قبل 0-120 ساعة،يحتوي نموذج FengWu على أصغر خطأ في التنبؤ بمواقع الأعاصير في كل عقدة.

بالمقارنة مع الطرق الفيزيائية التقليدية،لا تزال هناك فجوة في قدرة الذكاء الاصطناعي على التنبؤ بشدة الإعصار.ويرجع ذلك إلى أن جميع نماذج الذكاء الاصطناعي الحالية يتم تدريبها بطريقة تعتمد على البيانات. نظرًا لوجود بيانات قليلة نسبيًا حول الأحداث الجوية المتطرفة مثل الأعاصير، تميل نماذج الذكاء الاصطناعي إلى تنعيم النتائج عند التنبؤ بالطقس المتطرف، مما يؤدي إلى ضعف الأداء في التنبؤات بشدة الأعاصير.

FengWu-GHR: لأول مرة، تم زيادة دقة توقعات الذكاء الاصطناعي إلى 0.09 درجة

القضايا العاجلة التي يجب معالجتها: الدقة العالية وتراكم الأخطاء على المدى الطويل

في الواقع، بعد الانتهاء من تطوير نموذج FengWu، تلقينا ردود فعل من العديد من الخبراء في مجال الأرصاد الجوية. أحد التعليقات هو أنه على الرغم من أن FengWu كان قادرًا على تحقيق تنبؤ عالي الدقة بمقدار 0.25 درجة،لكنهم ما زالوا يأملون في الحصول على توقعات جوية ذات دقة أعلى.ردود الفعل الأخرى هي،وتحتاج مشكلة تراكم الأخطاء الناجمة عن التوقعات طويلة الأجل إلى حل أعمق.

لماذا نحتاج إلى توقعات جوية أكثر دقة وتطوراً؟

إذا أخذنا الرسم البياني لدرجة حرارة سطح شنغهاي كمثال، يمكننا أن نرى أنه على الرغم من أن شنغهاي ليست كبيرة، فإن الاختلافات في درجات الحرارة بين المناطق المختلفة واضحة. عندما تكون المسافة بين الشمال والجنوب 80 كيلومترًا فقط، فإذا استخدمنا نموذج التنبؤ الجوي 0.25 درجة للتنبؤ، فقد نحصل فقط على حوالي 3 نقاط شبكية من البيانات، وهو ما لا يكفي لوصف تفاصيل توزيع الطقس. يمكن أن توفر بيانات التنبؤ ذات الدقة العالية محاكاة أكثر دقة للحركة الجوية، مما يؤدي إلى نتائج تنبؤ أكثر دقة.

ولمعالجة هذه المشكلة، أطلقنا نموذج FengWu-GHR، وهو أول نموذج للتنبؤ بالطقس يعتمد على الذكاء الاصطناعي يتم تنفيذه بدقة عالية تبلغ 0.09 درجة. إن عملية تنفيذها على وجه التحديد ليست سهلة.

أولاً، زيادة الدقة من 0.25 درجة إلى 0.09 درجة ستؤدي إلى زيادة الجهد الحسابي واستهلاك الذاكرة بما يزيد عن 80 مرة. ثانيًا، تعد بيانات التحليل الجوي عالية الدقة نادرة للغاية، ولكن نماذج الذكاء الاصطناعي تتطلب كمية كبيرة من البيانات للتدريب، مما يجعل من الصعب للغاية تدريب نموذج أرصاد جوية عالي الدقة للذكاء الاصطناعي من الصفر.

ولمعالجة هذه القضايا، نحاول تحليل الحركة الجوية عالية الدقة إلى مكونين مختلفين.

أولاً، يتم تدريب النموذج (النموذج الفوقي) باستخدام كمية كبيرة من البيانات ذات الدقة المنخفضة. بعد ذلك، يتم تحليل البيانات الجوية عالية الدقة إلى بيانات جوية متعددة منخفضة الدقة، ويتم استخدام النموذج التلوي للتنبؤ بكل بيانات جوية. وأخيرا، يتم دمج نتائج التنبؤات الجوية هذه معًا للحصول على نتائج تنبؤات جوية عالية الدقة.

ومع ذلك، فإن مثل هذا النهج لا يستغل العلاقات غير الخطية في البيانات عالية الدقة بشكل كامل. لذلك، على هذا الأساس، قدمنا وحدة جديدة وعددًا صغيرًا من المعلمات، وقمنا بتدريب الوحدة باستخدام بيانات عالية الدقة لتمكينها من التقاط علاقة الاقتران غير الخطية بين المناطق عالية الدقة بشكل أفضل.

على وجه التحديد، الرمز الموجود على الجانب الأيسر من الشكل أعلاه هو الحقل الأصلي عالي الدقة، والذي ينقسم إلى 4 حقول مختلفة منخفضة الدقة، ثم يتم التنبؤ بها بواسطة نموذج اللغة. بعد الجمع، يتم الحصول على التنبؤ بالحقل عالي الدقة، وأخيرًا يتم استخدام الوحدة المضافة حديثًا لالتقاط عدم خطيته.

عند التعامل مع مشكلة الأخطاء التراكمية في التوقعات طويلة الأجل،تستخدم Pangu نموذج تدريب منفصلًا في كل نقطة زمنية للتنبؤ لحل هذه المشكلة. هذه طريقة فعالة، لكن تكلفة تدريبها مرتفعة جدًا. لذلك، أضفنا وحدة LoRA إلى كل خطوة من خطوات عملية التنبؤ وقمنا بتدريب كل خطوة باستخدام عدد صغير من المعلمات. وهذا يعادل الحصول على نموذج جديد لكل خطوة من خطوات التنبؤ، ولكن يتطلب عددًا صغيرًا فقط من المعلمات، مما يقلل بشكل كبير من التكلفة الحسابية.

تقييم النموذج: FengWu-GHR يحقق ترقية إضافية لتوقعات الطقس

نظرًا لأن IFS هو الوحيد الذي حقق نتيجة دقة 0.09 درجة، فإننا نستخدمها كمعيار مرجعي للتحقق من نتائج الاختبار الخاصة بنا.

تظهر النتائج أن FengWu-GHR يظهر مزايا واضحة في مؤشرات RMSE و ACC، مع RMSE أقل و ACC أعلى.

يتم استخدام مؤشر التحيز لقياس انحراف نتائج التنبؤ. كلما اقترب FengWu-GHR من 0، كانت نتائج الاختبار أفضل. استخدم مقاييس النشاط لقياس ما إذا كانت نتائج التنبؤ تصبح أكثر غموضًا مع زيادة وقت التنبؤ. وتظهر النتائج أن نتائج التنبؤ الخاصة بـ FengWu-GHR تميل تدريجياً إلى أن تكون سلسة، ولا يزال النموذج لا يحل تأثير التنعيم على توقعات الطقس المتطرفة.

من خلال تحليل بيانات الميدان وبيانات المراقبة في الوقت الحقيقي لـ 18000 محطة أرصاد جوية مختلفة، نستخدم البيانات من يوليو إلى ديسمبر 2022 لاختبار النموذج ومقارنته مع نموذج IFS_HRES وPangu.يتمتع FengWu-GHR بميزة التنبؤ بالنتائج التي تم الحصول عليها في أي عدد من الأيام مقدمًا.

علاوة على ذلك، يتمتع FengWu-GHR أيضًا بمزايا في التنبؤ بموجات الحرارة والتنبؤ بموجات البرد.

اليوم نتحدث عن موضوع التوقعات الجوية متوسطة المدى. في الواقع، هناك العديد من المقاييس المختلفة للتنبؤات في المجال الجوي، بما في ذلك التنبؤات المناخية الموسمية وطويلة الأجل لمدة 1-3 أيام، وما إلى ذلك. في الوقت الحاضر، نركز بشكل أساسي على البحث في قدرات التنبؤ بالطقس على المدى المتوسط، ولكن في المستقبل، نأمل في إجراء بحث متعمق لاستكشاف ما إذا كان بإمكاننا التوسع من التنبؤات متوسطة الأجل إلى التنبؤات على مستوى المناخ، ومزيد من دراسة تطور المناخ واتجاهات التنمية المستقبلية.