إدماج المعرفة السابقة في الشبكات العصبية من خلال لبّ تكاملي ضمني

من الصعب توجيه تعلم الشبكة العصبية (NN) باستخدام المعرفة المسبقة. على النقيض من ذلك، من السهل نسبيًا نمذجة خصائص معروفة مثل السلسة المكانية أو التكرار الموسمي من خلال اختيار كيرنل مناسب في عملية جاوسية (GP). يمكن أن يُحسّن نمذجة هذه الخصائص المعروفة من تطبيقات التعلم العميق بشكل كبير. على سبيل المثال، تُستخدم الشبكات العصبية التلافيفية (CNNs) بشكل شائع في الاستشعار عن بعد، الذي يتأثر بتأثيرات موسمية قوية. نقترح دمج المزايا التي تتميّز بها التعلم العميق مع القدرة الواضحة على النمذجة لدى العمليات الجاوسية من خلال استخدام كيرنل مركب يجمع بين كيرنل مُعرّف ضمنيًا بواسطة شبكة عصبية وكيرنل ثانٍ يتم اختياره لتمثيل الخصائص المعروفة (مثل التكرار الموسمي). نُنفّذ هذه الفكرة من خلال دمج شبكة عميقة مع خريطة فعّالة تعتمد على تقريب نيستروم، ونُسمّي هذا النموذج "الكيرنل المركب الضمني" (ICK). ثم نستخدم نهجًا يعتمد على العينة ثم التحسين لتقريب توزيع الاحتمال اللاحق الكامل للعملية الجاوسية. ونُظهر أن نموذج ICK يحقق أداءً متفوّقًا ومرونة عالية على كلاً من مجموعات البيانات الاصطناعية والواقعية. ونعتقد أن إطار عمل ICK يمكن استخدامه لدمج المعلومات المسبقة في الشبكات العصبية في العديد من التطبيقات.