من خلال جمع أكثر من 20 مجموعة بيانات مكانية وزمانية وأكثر من 130 مليون نقطة عينة، اقترح فريق بحث Tsinghua 3 طرق لنمذجة النظام الحضري المعقد استنادًا إلى الذكاء الاصطناعي التوليدي
مايكل باتي، المعروف بأنه أحد رواد دراسة الأنظمة الحضرية المعقدة، قال ذات مرة في كتابه:"المدن هي في الأساس أنظمة تكيفية معقدة تتطور هياكلها ووظائفها باستمرار وتظهر خصائص غير خطية للغاية وقادرة على التنظيم الذاتي."مع التطور المستمر للمدن الحديثة، يتزايد تعقيد الأنظمة الحضرية.
هذا التعقيد يجعل من الصعب على طرق النمذجة التقليدية التعامل معه. ومع ذلك، مع تطور تكنولوجيا الذكاء الاصطناعي التوليدي، أصبح النمذجة التوليدية، كوسيلة تقنية ناشئة، تصبح تدريجيا أداة مهمة لدراسة وفهم الأنظمة الحضرية. لا تستطيع النماذج التوليدية للأنظمة الحضرية المعقدة محاكاة تطور البنية الحضرية فحسب، بل يمكنها أيضًا توليد مخططات تخطيط حضري مبتكرة، مما يوفر أفكارًا جديدة للمدن الذكية والتنمية المستدامة.
مع التركيز على الوضع المحلي، حقق البحث في النماذج التوليدية للأنظمة المعقدة الحضرية تقدماً كبيراً في السنوات الأخيرة، وحققت العديد من الجامعات ومعاهد البحوث نتائج مثمرة.
في الآونة الأخيرة، في منتدى COSCon'24 للذكاء الاصطناعي من أجل العلوم الذي تم إنتاجه بشكل مشترك بواسطة HyperAI،ألقى دينغ جينغتاو، باحث ما بعد الدكتوراه من مركز العلوم الحضرية والبحوث الحاسوبية، قسم الهندسة الإلكترونية، جامعة تسينغهوا، كلمة بعنوان "النمذجة المعتمدة على الذكاء الاصطناعي واكتشاف القانون للأنظمة المعقدة الحضرية".قدمنا شرحًا معمقًا لطريقة النمذجة التوليدية المكانية الزمنية للأنظمة الحضرية المعقدة وأحدث تقدم في أبحاث الفريق.
قام HyperAI بتجميع وتلخيص المشاركة المتعمقة للدكتور دينج جينجتاو دون انتهاك النية الأصلية. وفيما يلي نص الخطاب:
التركيز على النمذجة التوليدية للأنظمة المعقدة الحضرية واكتشاف أنماط توزيع البيانات
تركز أبحاث فريقنا في مجال المدن الذكية والحوسبة الحضرية على نمذجة الأنظمة الحضرية المعقدة.باعتبارها نظامًا معقدًا، فإن المدينة تشبه عمل الطبيعة في النظام البيئي. ويتفاعل البشر الذين يعيشون فيها مع النظام الحضري في أبعاد متعددة، مما يشكل تفاعلات معقدة. على سبيل المثال، خلال عملية البناء الحضري، تم تشكيل أنظمة شبكية مختلفة، بما في ذلك شبكة النقل، وشبكة الاتصالات، وشبكة إمدادات الطاقة. ويؤدي التداخل بين عناصر الشبكة على المستوى المادي والعناصر الاجتماعية للحياة البشرية إلى تفاقم تعقيد الأنظمة الحضرية.
وردًا على ذلك، يركز فريقنا البحثي بشكل أساسي على الأنواع الثلاثة التالية من القضايا:
(1) مشكلة التنبؤ بتطور الدول الحضرية،وهذا يعني أننا يجب أن نركز على اتجاه وعملية التنمية المستقبلية للمدينة، لأن التنمية الحضرية هي في الأساس عملية ديناميكية للتغيير المكاني الزمني، وهي مشكلة نموذجية للتنبؤ المكاني الزمني؛
(2) محاكاة واستنتاج العناصر الحضرية،على غرار مفهوم التوائم الرقمية أو الميتافيرس، يتم إنشاء بيئة رقمية من خلال بيانات حقيقية واستنتاجها بناءً عليها لحل مشاكل "ماذا لو" في السيناريوهات الافتراضية؛
(3) مشكلة تحسين عملية اتخاذ القرار في الحوكمة الحضرية،وبناءً على توقعات ومحاكاة التطور الحضري المذكورة أعلاه، يمكن تحسين قرارات الحوكمة الحضرية لحل مشاكل حضرية محددة مثل الازدحام المروري والكوارث الطبيعية.
يركز فريقنا البحثي الحالي على النمذجة التوليدية للأنظمة الحضرية المعقدة.إن جوهر النموذج التوليدي هو تعلم توزيع الاحتمالات وراء البيانات، أي نمذجة توزيع الاحتمالات بناءً على البيانات المرصودة والتقاط عملية توليد البيانات.إذا كان النموذج يتمتع بهذه القدرة، فإنه سيكون قادرًا على حل الأنواع الثلاثة من المشكلات المذكورة أعلاه بشكل فعال.
تقديم أساليب الذكاء الاصطناعي التوليدي لحل تحديات النمذجة
يتطور الذكاء الاصطناعي التوليدي بسرعة في الوقت الحالي، وخاصة في جانبين: الأول هو تطوير تقنية توليد اللغة التي تمثلها نماذج اللغة الكبيرة، والثاني هو تقدم تقنية توليد المحتوى المرئي التي تمثلها نماذج الانتشار.يصبح ما إذا كانت طريقة الذكاء الاصطناعي التوليدي قابلة للتطبيق في نمذجة الأنظمة الحضرية المعقدة هو مفتاح بحثنا.
وفي الأنظمة الحضرية المعقدة، تتجلى الصعوبات في النمذجة بشكل رئيسي في الجوانب التالية:المعكرونة:أولاً، تتمتع الأنظمة الحضرية المعقدة بخصائص مكانية زمنية مهمة، كما أن أنماط البيانات غنية للغاية، بما في ذلك أشكال متعددة من البيانات المكانية الزمنية، مثل بيانات مسار حركة المشاة في المدينة، والتي تشبه بيانات تسلسل اللغة الطبيعية؛ بالإضافة إلى ذلك، هناك بيانات شبكية مكانية زمنية تستخدم لمنع حوادث التدافع والهياكل الطوبولوجية في المدينة (مثل هيكل الرسم البياني الذي تشكله الطرق وملفات قياس السرعة). ويشكل خليط هذه البيانات المكانية الزمنية المختلفة تحديات في مجال النمذجة.
ثانياً، من منظور الأنظمة الحضرية المعقدة، تعتبر المدينة نظاماً عملاقاً يتألف من أنظمة فرعية متعددة. تحتوي هذه الأنظمة الفرعية على تفاعلات معقدة داخلها، وهناك درجة معينة من الاقتران بين الأنظمة الفرعية المختلفة (مثل أنظمة الطاقة وأنظمة شبكات الاتصالات). إن الترابط والتفاعلات المعقدة بين هذه الأنظمة الفرعية تفرض متطلبات أعلى على النمذجة.
وأخيرا، فإن النظام الحضري هو عملية ديناميكية. يمكن لأنظمة فرعية مختلفة جمع مجموعة متنوعة من البيانات، وتتمتع هذه البيانات بأشكال وأوضاع وتوزيعات مختلفة، مما يجعل من الصعب نمذجتها عالميًا. وهذه أيضًا مشكلة يصعب التغلب عليها في مرحلة البحث الحالية.
وبناء على التحديات المذكورة أعلاه، سأقدم اليوم تقدمنا البحثي في المجالات الثلاثة التالية:الأول هو محاكاة تدفق الناس.نقترح نموذج انتشار مسترشدًا بالمعرفة الفيزيائية لاستنتاج حركة الأشخاص في المدن بشكل أكثر دقة؛والثاني هو التنبؤ بمرونة الأنظمة المعقدة؛ والأخير هو نموذج التنبؤ العام بالزمان والمكان.
محاكاة حركة الحشود - نموذج الانتشار الموجه بالمعرفة الفيزيائية
الغرض من محاكاة تدفق المشاة هو إعادة إنتاج عملية الحركة الديناميكية والتفاعل لعدد كبير من المشاة في الفضاء. المشكلة الأساسية هي: تحديد نقاط البداية والنهاية للمشاة أو الأفراد، وتوليد مساراتهم أثناء عملية الحركة.تتمتع هذه المحاكاة بقيمة كبيرة في العديد من سيناريوهات التطبيق، مثل تخطيط المسار للشخصيات الافتراضية (NPCs) في الألعاب وتحليل جدوى تصميمات المباني في الحياة الواقعية. من أجل اختبار أداء التصاميم المعمارية في سيناريوهات محددة، فمن الضروري عادة محاكاة تدفقات المشاة على نطاق واسع.
ومع ذلك، فإن التحدي الرئيسي لمحاكاة التدفق البشري هو أن كائن المحاكاة ليس نظامًا جزيئيًا بقوانين فيزيائية واضحة، بل هو فرد يتمتع بقدرات اتخاذ القرار المستقل - البشر.إن آليات اتخاذ القرار لدى الناس معقدة وقابلة للتغيير: فمن ناحية، تتأثر التفضيلات الفردية بالبيئة المحيطة، مما يؤدي إلى تعديل قراراتهم باستمرار؛ ومن ناحية أخرى، يتسم السلوك البشري بعدم اليقين المتأصل. على سبيل المثال، عند مواجهة عقبة ما، فإن الأفراد المختلفين يختارون استراتيجيات مختلفة للتكيف (يختار البعض الذهاب إلى اليسار، ويختار البعض الآخر الذهاب إلى اليمين)، ومن الصعب وصف هذا الغموض بصيغة حتمية.
في التطبيقات العملية، فإن نموذج محاكاة تدفق الحشود الأكثر استخدامًا هو "نموذج القوة الاجتماعية"، والذي ينشأ من الأفكار الموجودة في ميكانيكا نيوتن وهو أحد الأساليب الكلاسيكية القائمة على ABM (النمذجة القائمة على العميل).ينظر نموذج القوة الاجتماعية إلى الحركة البشرية باعتبارها عملية مدفوعة بالقوة. كما هو موضح في الشكل أدناه، عندما يتحرك الأفراد، فإنهم لا ينجذبون إلى الوجهة فحسب، بل ينفرون أيضًا من العوائق والمشاة المحيطين بهم. ومع ذلك، فإن نظرة أقرب تكشف أن نموذج القوة الاجتماعية يفشل في التقاط السمات الدقيقة في البيانات الحقيقية.
لذلك، نستكشف كيفية الجمع بين تقنيات الذكاء الاصطناعي التوليدي،دمج المعرفة الفيزيائية في نماذج الانتشار.السبب وراء اختيار نموذج الانتشار هو أن آلية صنع القرار البشري غير مؤكدة بطبيعتها وهي عملية توليد احتمالية. يؤدي نموذج الانتشار أداءً جيدًا في نمذجة توزيع البيانات عالية الأبعاد وهو مناسب لمحاكاة مشاكل عدم اليقين هذه.
لقد قمنا بتصميم شبكة عصبية بيانية تعتمد على نموذج القوة الاجتماعية، وأدرجنا مصطلحات الجذب والتنافر في القوة الاجتماعية في النموذج، واقترحنا نموذج محاكاة تدفق الحشود SPDiff.
وكما هو موضح في الشكل أدناه، فقد أخذنا في الاعتبار التناظرات الخفية في بيانات حركة الحشود، مثل الدوران والترجمة، وأدرجناها في عملية تصميم النموذج. يساعد حقن هذا التحيز الاستقرائي على تحسين عملية المحاكاة بأكملها.
لقد قمنا باختيار مجموعة بيانات لحركات المشاة الحقيقية لتقييم أداء النموذج. وتشمل مصادر البيانات بيانات المراقبة في ساحات المحطات وحركة المشاة في الشوارع.
وتهتم المؤشرات التالية بشكل أساسي بتقييم النموذج:الأول هو خطأ الحركة الفردية، أي الخطأ المطلق بين المسار المحاكى والمسار المرصود الحقيقي؛ الثاني هو مؤشر توزيع المجموعة، أي أننا نأمل أن يكون المسار المحاكى قريبًا من البيانات الحقيقية على مستوى التوزيع. بالإضافة إلى ذلك، أجرينا أيضًا تحليلًا تصوريًا، وأظهرت النتائج أنه مقارنة بنموذج القوة الاجتماعية الكلاسيكي، كان أداء نموذجنا أكثر منطقية من حيث تأثير تجنب العوائق. ومن الجدير بالذكر أنه بعد أن قدمنا المعرفة الفيزيائية، تم تقليل عدد معلمات النموذج بشكل كبير، مما أدى إلى تحسين كفاءة النموذج.
عند استكشاف المزيد حول مقدمة المعرفة الفيزيائية، وجدنا أن التباين المتساوي يمنح النموذج ميزة في التعلم باستخدام عينات صغيرة. كما ذكرنا سابقًا، فإن مسار الحركة يكون متماثلًا بشكل أساسي بعد الدوران والترجمة.لذلك، يحتاج النموذج فقط إلى عدد صغير من عينات البيانات لإكمال التعلم الفعال.تظهر التجارب أنه عندما يتم تقليل كمية بيانات التدريب إلى 5%، فإن تأثير النموذج لا يزال قريبًا من أداء مجموعة البيانات الكاملة.
وقد تم نشر البحث ذي الصلة تحت عنوان "نموذج الانتشار المستنير بالفيزياء الاجتماعية لمحاكاة الحشود" و"فهم ونمذجة سلوك تجنب الاصطدام لمحاكاة الحشود الواقعية"، في AAAI 2024 وCIKM 2023 على التوالي، وكان الكود والبيانات مفتوحين المصدر.
عنوان الورقة:https://arxiv.org/abs/2402.06680
عنوان مشروع المصدر المفتوح:https://github.com/tsinghua-fib-lab/SPDiff
عنوان الورقة:https://dl.acm.org/doi/10.1145/3583780.3615098
عنوان مشروع المصدر المفتوح:https://github.com/tsinghua-fib-lab/TECRL
التنبؤ بمرونة النظام: نموذج انتشار معزز بديناميكيات الشبكة
تشير المرونة إلى قدرة النظام على الحفاظ على وظائفه الأساسية عند تعرضه لفشل داخلي أو اضطرابات خارجية.على سبيل المثال، بالنسبة للنظم البيئية، يشير مصطلح المرونة إلى القدرة على الحفاظ على التنوع البيولوجي على الرغم من التغير البيئي. وفي النظم الاجتماعية البشرية، نأمل أن تتمتع العديد من الأنظمة الهندسية، مثل شبكات سلسلة التوريد، بمثل هذه المرونة لضمان علاقة الإنتاج والمبيعات الطبيعية بين المنتجين والمستهلكين في ظل ظروف خاصة، وبالتالي الحفاظ على التشغيل الطبيعي للاقتصاد.
من الناحية النظرية، هناك بعض التعريفات الكلاسيكية لمرونة الشبكة. يمكن اعتبار المرونة بمثابة حالة عقدة، يتم تمثيلها بواسطة x، والتي تعكس ما إذا كان النظام قادرًا على التقارب إلى الحالة المستقرة الوحيدة المتوقعة بعد تطبيق اضطراب على عقدة.إذا كان النظام مرنًا، فإنه يستطيع التعافي إلى حالته المتوقعة خلال فترة زمنية معينة حتى لو تعرض للاضطراب؛ إذا افتقر إلى المرونة، فسيكون من الصعب التعافي. وكما هو موضح في الشكل أدناه، فإن الأنظمة المرنة قادرة على العودة إلى حالة مستقرة بعد الاضطراب، في حين أن الأنظمة غير المرنة قد لا تكون قادرة على التعافي.
في وقت مبكر من عام 2017، اقترحت مقالة في مجلة Nature طريقة نمذجة نظرية، وهي في الأساس دراسة نظام عالي الأبعاد يتكون من n بُعد. وقد يصل عدد العقد في مثل هذه الأنظمة إلى عشرات الآلاف أو حتى الملايين.من الناحية النظرية، تقوم هذه الطريقة بتبسيط نظام عالي الأبعاد إلى بعد واحد من خلال تقليل الأبعاد من أجل الحصول على تعبير عن مرونة النظام.
ومع ذلك، فإن هذه الأداة النظرية لها حدود في الأنظمة الحقيقية ولا تنطبق إلا على الأنظمة ذات الدرجات المترابطة بشكل ضعيف. ومع ذلك، غالبًا ما يوجد التأثير المتغاير المتجانس في الأنظمة الحقيقية، أي أن قيم الدرجة لعقدتين متصلتين بحافة قد تكون مترابطة بشكل كبير. ولذلك، لا تزال هذه الأداة تعاني من بعض المشاكل في تقييم مرونة الأنظمة الفعلية.
عنوان الورقة:https://www.nature.com/articles/nature16948
وبناءً على ذلك، اقترح فريقنا طريقة نمذجة مرونة نظام الشبكة المعتمدة على البيانات.كما ذكرنا سابقًا، تتأثر المرونة بالتأثيرات المشتركة لتطور حالة العقدة وطوبولوجيا الشبكة. من خلال النمذجة من منظور قائم على البيانات أو التعلم الآلي، نقسم المشكلة إلى بعدين. من ناحية أخرى، تتميز عملية التغيير الديناميكي لحالة العقدة بمسار تطور الحالة؛ ومن ناحية أخرى، يجب أيضًا أن نأخذ في الاعتبار تأثير طوبولوجيا الشبكة. يعمل الاثنان معًا لخلق المرونة للأنظمة المعقدة. وبناءً على ذلك، قمنا بتصميم نموذج للتنبؤ بالمرونة يعتمد على البيانات.
من حيث بنية النموذج، قمنا بتصميم هيكل يجمع بين الشبكات العصبية الرسومية والمحول:بالنسبة لجزء التطور الديناميكي، نستخدم Transformer لنمذجة العلاقات الزمنية؛ بالنسبة للعلاقات الطوبولوجية المعقدة، فإننا نقدم شبكات عصبية بيانية لنمذجة التفاعلات عالية المستوى بين الأنظمة. يعمل الاثنان معًا لتشكيل ملاحظتنا لمرونة النظام.
في التجربة، قمنا بدراسة أنواع مختلفة من ديناميكيات حالة العقدة، مثل سلسلة توريد النظام البيئي، وديناميكيات تنظيم الجينات في الكيمياء الحيوية، وديناميكيات نقل الإشارات العصبية في علم الأعصاب، وما إلى ذلك؛ من حيث الطوبولوجيا، اخترنا نوع الطوبولوجيا الشبكية الكلاسيكي.
تظهر النتائج التجريبية أن نموذجنا قد حسن بشكل كبير دقة التنبؤ، ودرجة F1 عالية، ودرجة معينة من القدرة على التفسير، ويحقق تصورًا لتقليل الأبعاد لمستوى القرار.
ومع ذلك، في التطبيقات العملية، نجد أن مرونة معظم الأنظمة غير معروفة، ومن الصعب تحديد ما إذا كانت مرنة أم لا، مما يؤدي إلى عدم كفاية بيانات تصنيف المرونة والانحرافات في توقعات النماذج. ولتحقيق هذه الغاية، قمنا بتعزيز النموذج من مستوى العينة لجعله أكثر قوة في حالات العينة الصغيرة.
وتتمثل الاستراتيجية المحددة في إنشاء عينات مراقبة للأنظمة المرنة وغير المرنة استنادًا إلى نموذج الانتشار لتعزيز نموذج التنبؤ. تغطي هذه العينات طوبولوجيا العقدة ومسار تطور حالتها. أولاً، يتم إجراء تحسين البيانات. يمكن للعينات المحسنة تدريب وحدة التنبؤ بالمرونة بشكل أفضل. تعمل نتائج التنبؤ على توجيه وحدة تعزيز البيانات بشكل عكسي لتوليد عينات أكثر قيمة، مما يشكل حلقة تغذية مرتدة إيجابية.
من خلال الاستفادة من القوة التوليدية القابلة للتحكم في نموذج الانتشار، أي تقنية التوجيه المصنف، فإننا نولد عينات بالمستوى المطلوب من المرونة، وبالتالي نحقق زيادة البيانات.
تظهر نتائج اختبار العينة الصغيرة أنه بعد تعزيز نموذج الانتشار، يمكن أن تصل دقة التنبؤ بالنموذج إلى 87% باستخدام 20 عينة فقط؛بدون تعزيز البيانات، دقة التنبؤ بالنموذج هي 62% فقط. ومن الجدير بالذكر أنه يمكننا تحقيق دقة تنبؤ مماثلة مع طول ملاحظة أقصر لمسار تطور الحالة، وهو أمر ذو أهمية كبيرة بالنسبة للأنظمة التي لا يمكن ملاحظتها لفترة طويلة في الملاحظات الفعلية.
وقد تم نشر البحث ذي الصلة بعنوان "استدلال مرونة التعلم العميق للأنظمة الشبكية المعقدة" و"TDNetGen: تمكين التنبؤ بمرونة الشبكة المعقدة من خلال التعزيز التوليدي للطوبولوجيا والديناميكيات"، في Nature Communications وKDD 2024 على التوالي، وكان الكود والبيانات مفتوحين المصدر.
عنوان الورقة:
https://www.nature.com/articles/s41467-024-53303-4
عنوان مشروع المصدر المفتوح:
https://github.com/tsinghua-fib-lab/ResInf
عنوان الورقة:
https://arxiv.org/abs/2408.09825
عنوان مشروع المصدر المفتوح:
https://github.com/tsinghua-fib-lab/TDNetGen
التنبؤ المكاني الزمني العام - التعلم السريع المعزز بالتنبؤ المكاني الزمني العام
منذ عام 2017، جذبت مشاكل التنبؤ المكاني الزمني الاهتمام تدريجيًا في مجال التعلم العميق. تنقسم طرق البحث الحالية بشكل أساسي إلى فئتين: الأولى هي تصميم نماذج التعلم العميق المقابلة بناءً على الخصائص المكانية الزمنية لأنواع أو مصادر بيانات محددة؛ الطريقة الأخرى هي النمذجة من منظور الأنظمة المعقدة أو الرياضيات التطبيقية، باستخدام أساليب النظام الديناميكي مثل حسابات الخزان. النقطة المشتركة بين هاتين الطريقتين هي أن كل منهما تقوم بإنشاء نموذج لنظام فرعي واحد.
ومع ذلك، بالنسبة للأنظمة الحضرية، ونظراً للارتباط العالي بين الأنظمة الفرعية الفعلية، فإننا نأمل في تحقيق نمذجة مشتركة من أجل تحقيق تأثير تآزري بنسبة 1 + 1 > 2. وهذا هو أيضاً الهدف الأساسي لعملنا البحثي.
في هذا الإطار، يرتكز تصورنا على الجدوى التالية: على الرغم من أن أنواع البيانات المكانية الزمنية المختلفة تختلف في الشكل التنظيمي والتوزيع، إلا أنها في جوهرها تنشأ جميعها من الإنتاج البشري والحياة في المدن وتجسد بعض الآليات العالمية الأساسية في أبعاد مختلفة. لذلك، طالما تم العثور على الطريقة المناسبة، يمكن دمج هذه البيانات غير المتجانسة لتحقيق تأثير تآزري بنسبة 1 + 1 > 2.
وفي العملية الفعلية، جمعنا أكثر من 20 مجموعة بيانات مكانية زمنية وأكثر من 130 مليون نقطة عينة، تغطي خمسة أنظمة فرعية مثل النقل، والشبكات الخلوية، وتلوث الهواء، وتغطي 14 مدينة في الداخل والخارج.
من حيث تصميم النموذج، واصلنا بنية المحول، وقمنا بإنشاء نماذج لأشكال مختلفة من البيانات المكانية الزمنية كموترات عالية الأبعاد، وقمنا بمعالجتها بطريقة مماثلة لـ ViT (محول الرؤية).وأخيرًا، تم تشكيل نموذج التنبؤ المكاني الزمني العالمي UniST.
في المرحلة الأولى من تدريب النموذج،نقوم بتقسيم أنواع مختلفة من البيانات المكانية الزمنية إلى رموز، وتحليل المتجهات عالية الأبعاد إلى كتل صغيرة، كل منها يتوافق مع رمز، واستخدام استراتيجيات قناع مختلفة لالتقاط خصائص الارتباط المكانية الزمنية المتنوعة.
في المرحلة الثانية من التدريب النموذجي،نحن بحاجة إلى استكشاف القوانين المشتركة وراء أشكال مختلفة من البيانات المكانية الزمنية. تشير "المعرفة" هنا إلى الأنماط التطورية الكلاسيكية السائدة في البيانات المكانية الزمنية، مثل القرب الزمني، والدورية، والاتجاه، وكذلك القرب المكاني والتسلسل الهرمي. من خلال استخراج هذه المعرفة الخاصة بالمجال المكاني الزمني وتحديد الأنماط المقابلة، فإننا نعمل على تقليص أبعاد البيانات الحقيقية إلى عدة مساحات نمطية ونقوم بالتدريب المسبق على البيانات الضخمة. بهذه الطريقة، عند معالجة بيانات جديدة، يمكن للنموذج أن يتطابق بسرعة مع النمط المقابل ويحقق تنبؤًا دقيقًا للعينات الصغيرة أو حتى العينات الصفرية بطريقة تشبه RAG.
عند تقييم أداء النموذج، نركز على مهمتين رئيسيتين: أولاً، قدرات التنبؤ طويلة الأمد وقصيرة الأمد؛ ثانيًا، القدرة الأهم على عدم التعامل مع أي شيء، وهي قدرة النموذج على التعامل بشكل مباشر مع مهمة ما دون التعرض لمهمة أو بيانات محددة.على سبيل المثال، إذا تم تدريب النموذج على أساس مجموعة بيانات لبكين، فبالنسبة لبيانات شنغهاي غير المضمنة في التدريب، لا يزال النموذج قادرًا على تحقيق تنبؤات دقيقة استنادًا إلى سلسلة شنغهاي المكانية الزمنية.
كما هو موضح في الشكل أدناه، يمثل الخط المنقط باللون الأحمر تأثير التنبؤ لطريقتنا في ظل ظروف العينة الصفرية، ويُظهر المستطيل الأحمر الموجود في أقصى اليسار نتائج التنبؤ لطريقتنا في ظل ظروف العينة 1%/5%، أما الباقي فهو طرق أساسية. يمكن ملاحظة أن طريقتنا تتفوق بشكل كبير على الطريقة الأساسية باستخدام عينات 1%/5% في نقل اللقطة الصفرية.
لماذا يحدث هذا التأثير؟ من خلال مقارنة تشابه بيانات بكين وشنغهاي في الشكل، يمكننا أن نجد أن بيانات شارع تشانغآن في بكين ومنطقة جينغان في شنغهاي متشابهة جدًا بعد الحساب الفوري. يوضح هذا التشابه الكبير سبب قدرة النموذج على تكوين أنماط تنبؤ مماثلة بناءً على التدريب على بيانات بكين على الرغم من أنه لم يتم تدريبه على بيانات شنغهاي.
لقد استكشفنا أيضًا كيفية تصرف البيانات المكانية الزمنية من حيث قوانين التوسع، أي ما إذا كانت زيادة كمية البيانات ستؤدي إلى تحسين قدرات النموذج بشكل كبير. ومع ذلك، ونظراً للقيود المفروضة على حجم البيانات وأنواع البيانات الحالية، فإننا لم نلاحظ بعد تأثيراً واضحاً للتوسع، ونحن بحاجة إلى إثراء أنواع البيانات بشكل أكبر في هذا الصدد.
تم اختيار البحث ذي الصلة، بعنوان "UniST: نموذج عالمي مُمكّن للتنبؤ المكاني والزماني الحضري"، لـ KDD 2024.
عنوان الورقة:
https://arxiv.org/abs/2402.11838
عنوان مشروع المصدر المفتوح:
https://github.com/tsinghua-fib-lab/UniST
من خلال الاسترشاد بالمعرفة المادية، يتم توفير أفكار جديدة لنمذجة الأنظمة الحضرية المعقدة
وأخيرًا، أود مناقشة الاتجاهات المستقبلية لنمذجة النظام المعقد الحضري والتقدم الأخير الذي أحرزه فريقي (مركز العلوم الحضرية والحوسبة، قسم الإلكترونيات، جامعة تسينغهوا).
نحن نؤمن بأن المعرفة الفيزيائية يمكن دمجها بشكل أكبر لتحسين قوة النموذج وقدرته على التعميم.بالنسبة للأنظمة في المدن حيث لم يتم استكشاف العديد من الآليات بشكل كامل، يمكننا الاستفادة الشاملة من الأساليب مثل الانحدار الرمزي واستدلال ديناميكيات الشبكة لمحاولة استخراج الصيغ الرمزية التي تصف قوانين تطور النظام من البيانات الحقيقية.
نُشر البحث ذو الصلة في ICLR 2023 تحت عنوان "تعلم النماذج الرمزية للآلية الفيزيائية ذات البنية البيانية".
عنوان الورقة:https://openreview.net/pdf?id=f2wN4v_2__W
في مجال الشبكات المعقدة واسعة النطاق، توجد بالفعل أدوات لتقليل الأبعاد تعتمد على النظرية في الفيزياء الإحصائية، مثل مجموعة إعادة التطبيع. ويساعد تطبيقها على تنبؤات الشبكات الحقيقية واسعة النطاق في تحديد "الهيكل" منخفض الأبعاد للديناميكيات التطورية وتحقيق تنبؤات طويلة الأجل. وهذا هو أيضًا محور أبحاثنا الأخيرة.
نُشر البحث ذو الصلة في مجلة KDD 2024 تحت عنوان "التنبؤ بالديناميكيات طويلة المدى للشبكات المعقدة من خلال تحديد الهيكل العظمي في الفضاء الزائدي".
عنوان الورقة:https://arxiv.org/abs/2408.09845
بالإضافة إلى ذلك، فإن إدخال المعرفة المادية لدعم التعلم في العينات الصغيرة من شأنه أن يعزز بشكل كبير قدرة النموذج على التعميم.إذا أخذنا الاستجابة لحالات الطوارئ بعد الكوارث كمثال، فهناك نقص في البيانات التاريخية حول هذا السيناريو، ولكن بعض العلماء قاموا ببناء معادلات ديناميكية للسلوك البشري بعد الكوارث من منظور آلي. إن الجمع بين هذه المعادلات ونماذج البيانات الحقيقية يسمح بتوقعات أكثر قوة في حالة العينة المحدودة.
نُشر البحث ذو الصلة في مجلة KDD 2024 تحت عنوان "معادلة تفاضلية عادية عصبية مستندة إلى الفيزياء لاستعادة القدرة على الحركة بعد الكوارث".
عنوان الورقة:https://dl.acm.org/doi/10.1145/3637528.3672027
ونعتقد أيضًا أن نماذج اللغة الكبيرة لديها القدرة على التفكير والمحاكاة في مجال البيانات المكانية الزمنية.على سبيل المثال، يمكن استخدام نماذج اللغة الكبيرة لمحاكاة مشاعر الشبكة أو الأنظمة الاقتصادية. فيما يتعلق بالبحث حول محاكاة وجهات نظر الشبكة باستخدام نماذج اللغة الكبيرة، تم نشر الورقة ذات الصلة في ICWSM 2024 تحت عنوان "اكتشاف الموقف باستخدام وكلاء LLM القائمين على الأدوار التعاونية".
عنوان الورقة:https://arxiv.org/abs/2310.10467
فيما يتعلق بدراسة محاكاة نموذج اللغة الكبير للأنظمة الاقتصادية، استخدمنا وكيل نموذج اللغة الكبير لمحاكاة النموذج الاقتصادي الكلي الذي يتوافق مع القوانين التجريبية بشكل فعال.فاز البحث ذو الصلة، بعنوان "EconAgent: وكلاء مدعمون بنماذج اللغة الكبيرة لمحاكاة الأنشطة الاقتصادية الكلية"، بجائزة ACL 2024 لأفضل ورقة بحثية.
عنوان الورقة:https://arxiv.org/abs/2310.10436
نظرًا لأن نماذج اللغة الكبيرة يتم تدريبها استنادًا إلى كمية كبيرة من بيانات اللغة التي يولدها الإنسان ولديها قدرات تفكير واتخاذ قرارات تشبه الإنسان، فإن فريقنا يستكشف تطبيقها في توليد أو محاكاة السلوك البشري. وبالمقارنة مع النهج التقليدي القائم على النموذج التوليدي، وبمساعدة المعرفة الكبيرة المسبقة لتدريب النموذج، وجدنا أن هناك حاجة إلى 200 عينة فقط لتحقيق تأثيرات مماثلة لـ 100000 عينة تدريب، وتحقيق التعميم السريع في سيناريوهات محددة.
تم تحميل البحث ذي الصلة "سير عمل سلسلة السلوك المخطط له يثير جيلًا قليل الحركة في ماجستير القانون" إلى موقع الويب المسبق الطباعة arXiv.
عنوان الورقة:https://arxiv.org/abs/2402.09836
ويقوم فريقنا أيضًا باستكشاف ما إذا كان من الممكن استخدام نماذج اللغة الكبيرة بشكل أكبر لتحسين عملية اتخاذ القرارات الذكية.تم تحميل البحث ذي الصلة "تحديد العقد الحرجة في الشبكة المعقدة ذات النماذج اللغوية الكبيرة" إلى موقع arXiv.
عنوان الورقة:https://arxiv.org/abs/2403.03962
حول مختبر FIB
المتحدث الضيف في هذه المحاضرة هو الدكتور جينغتاو دينغ من مركز أبحاث العلوم الحضرية والحوسبة (FIB LAB) التابع لقسم الهندسة الإلكترونية بجامعة تسينغهوا.يركز مركز الأبحاث على العلوم الحضرية وأبحاث الحوسبة، ويأخذ العلوم الحضرية كمشكلة بحثية أساسية، ويجري أبحاثًا تستند إلى نظريات مثل الأنظمة المعقدة وعلم الاجتماع الحسابي، ويجمع بين الجيل الجديد من "الذكاء الاصطناعي المعرفي" لعلوم البيانات والتعلم الآلي باعتباره التكنولوجيا الأساسية لخدمة مجالات تطبيق التوائم الحضرية، والحوكمة الحضرية، وتوائم الشبكات اللاسلكية، ومجالات التطبيق الأخرى التي تلبي الاحتياجات الوطنية الرئيسية. يتكون الفريق حاليًا من 6 مدرسين وأكثر من 60 طالبًا.
نشر الفريق أكثر من 150 ورقة أكاديمية في مجلات دولية مرموقة مثل المجلات الفرعية لمجلة Nature والمؤتمرات الدولية المرموقة مثل KDD وNeurIPS وWWW وUbiComp (7 مجلات فرعية وأكثر من 100 ورقة CCF A)، مع أكثر من 25000 استشهاد. وقد فاز الفريق بـ 7 جوائز لأفضل ورقة بحثية/ترشيح في مؤتمرات دولية.ترأس الفريق أو شارك في أكثر من 15 مشروعًا بما في ذلك خطة البحث والتطوير الرئيسية لوزارة العلوم والتكنولوجيا والمؤسسة الوطنية للعلوم الطبيعية في الصين، وفازت الإنجازات ذات الصلة بالجائزة الثانية لجائزة التقدم الوطني للعلوم والتكنولوجيا.
لقد حرص مركز الأبحاث دائمًا على دمج الصناعة والأوساط الأكاديمية. وفي السنوات الأخيرة، أقامت علاقات تعاونية جيدة مع شركات مثل هواوي، وتينسنت، وعلي بابا، ومايكروسوفت ريسيرش آسيا، وميتوان، وكوايشو، وأوتونافي، وسينس تايم، وتويوتا، ومشغلي الهاتف المحمول، ولديها فرص وفيرة للتعاون المؤسسي والتدريب.
الصفحة الرئيسية للمختبر:https://fi.ee.tsinghua.edu.cn/
الصفحة الرئيسية الشخصية:https://fi.ee.tsinghua.edu.cn/~dingjingtao/
