العمليات العصبية مع الانتباه العشوائي: إيلاء اهتمام أكبر لبيانات السياق

تهدف العمليات العصبية (NPs) إلى إكمال نقاط البيانات غير المرئية بشكل عشوائي استنادًا إلى مجموعة بيانات سياقية معطاة. وبشكل أساسي، تستخدم العمليات العصبية مجموعة البيانات المعطاة كتمثيل سياقي لاستخلاص معرف مناسب للمهمة الجديدة. ولتحسين دقة التنبؤ، استعرضت العديد من الطرز المُختلفة للعمليات العصبية أساليب تضمين السياق، والتي تُصمم عادةً هياكل شبكات جديدة ووظائف تجميع تحقق الشروط التبادلية (Permutation Invariant). في هذا العمل، نقترح آلية انتباه عشوائية للعمليات العصبية لالتقاط المعلومات السياقية المناسبة. ومن منظور نظرية المعلومات، نُظهر أن الطريقة المقترحة تشجع على التمييز بين تضمين السياق وبيانات الهدف، مما يمكّن العمليات العصبية من النظر في الخصائص الموجودة في بيانات الهدف وتضمين السياق بشكل منفصل. ولاحظنا أن الطريقة المقترحة قادرة على التقاط تضمين السياق بشكل مناسب حتى في ظل وجود بيانات مشوّشة وتوزيعات محدودة للمهام، حيث يعاني النموذج التقليدي من نقص في تضمينات السياق. كما أظهرنا تجريبيًا أن نهجنا يتفوق بشكل كبير على العمليات العصبية التقليدية في مجالات متنوعة من خلال تجارب الانحدار أحادي البعد، ونموذج الصياد-الفرائس، وإكمال الصور. علاوة على ذلك، تم التحقق من صحة الطريقة المقترحة باستخدام مجموعة بيانات MovieLens-10k، وهي مشكلة واقعية حقيقية.