كيف تُفسّر الهندسة والفيزياء تعلّم الميزات في الشبكات العصبية العميقة؟

أظهر باحثون من جامعة بازل ومؤسسة العلوم والتكنولوجيا الصينية نموذجًا نظريًا مبتكرًا لفهم كيفية تعلّم الميزات في الشبكات العصبية العميقة (DNN)، باستخدام مبادئ الهندسة والفيزياء. واعتمدت الدراسة على تشبيه ملموس: سلسلة كتل متصلة بزنبركات، نظام ميكانيكي بسيط يُستخدم في دراسة الاهتزازات والانزلاقات في الجيوفيزياء، مثل زلازل الصدع. يُظهر هذا النموذج كيف تُبسط الشبكات العصبية المدخلات عبر الطبقات، بحيث تصبح التمثيلات أكثر تنظيمًا وانفصالًا بين الفئات (مثل تمثيلات القطط والكلاب)، وهو ما يُعرف بـ"قانون فصل البيانات"، الذي ينص على أن كل طبقة تُحسن من فصل البيانات بنفس المقدار في الشبكات المدربة جيدًا. لكن هذا السلوك لا يُحافظ عليه عند تغيير معايير التدريب مثل معدل التعلم أو الضوضاء. الباحثون وجدوا أن سلوك الشبكة العصبية يشبه سلوك النظام الميكانيكي: كلما زاد التفاعل غير الخطي (مثل الاحتكاك في الكتل)، زاد الفرق بين الطبقات العميقة والسطحية، حيث تتعلم الطبقات العميقة أكثر. أما عند إضافة ضوضاء أو اهتزازات (مثل التدريب بضوضاء)، فإن الكتل تُصبح "في الهواء" لحظات، مما يقلل الاحتكاك ويُمكّن الزنبركات من محاذاة التمدد بشكل متساوٍ، ما يُشبه ظاهرة "التحفيز الصوتي" في الهندسة. هذا التشابه المذهل يسمح بتبسيط فهم شبكات عصبية معقدة جدًا (بمليارات المعلمات) عبر نموذج بسيط يحتوي على عدد قليل من المعلمات. النموذج لا يعتمد على مبادئ أولية، بل على سلوك تجريبي (فيزيائي)، لكنه يوفر نظرة شاملة على التفاعل بين العوامل الحاسمة مثل العمق، اللاخطية، الضوضاء، وسرعة التعلم. النتائج أظهرت أن شكل منحنى فصل البيانات خلال التدريب يمكن استخدامه كمؤشر موثوق على أداء الشبكة على بيانات جديدة، ما يفتح الباب أمام أدوات تشخيصية للكشف عن "أجزاء مزدحمة" أو "غير مستخدمة" داخل الشبكة، مشابهة لخرائط الإجهاد في التصميم الميكانيكي. هذه الأدوات قد تساعد في تحديد مناطق التفوق أو التكرار، وبالتالي تحسين التدريب، خاصة للنماذج الضخمة مثل نماذج اللغة الكبيرة (LLMs). الباحثون يرون أن هذا النموذج قد يُحدث ثورة في تطوير الشبكات العصبية، ليس فقط لفهمها، بل لتحسينها بشكل عملي، عبر التحكم في شكل منحنى الفصل باستخدام الضوضاء أو التحكم في اللاخطية. وهم يسعون الآن إلى تطوير نموذج أولي يُفسر هذه الظواهر من منظور أولي، مع تطبيق النموذج على الشبكات العميقة الحديثة. بفضل هذا التمرين البديهي، أصبح من الممكن استخدام معرفة بسيطة عن الزنبركات والكتل لفهم سلوك نماذج ذكاء اصطناعي معقدة، مما يُعد خطوة كبيرة نحو فهم أعمق لعملية التعلم في الشبكات العصبية.