شبكات المؤشرات

نقدم معمارية عصبية جديدة لتعلم الاحتمال الشرطي لمتتابعة الإخراج التي تتكون من عناصر هي رموز متقطعة تتوافق مع مواقع في متتابعة المدخل. لا يمكن التعامل مع مثل هذه المشاكل بطريقة بسيطة باستخدام النماذج الحالية مثل المتتابع إلى متتابع (Sequence-to-Sequence) وآلات تورينغ العصبية (Neural Turing Machines)، لأن عدد فئات الهدف في كل خطوة من خطوات الإخراج يعتمد على طول المدخل، وهو أمر متغير. تندرج مشاكل مثل ترتيب المتتابعات ذات الأحجام المتغيرة والعديد من مشاكل الأمثلية التوافقي تحت هذا الفئة. يحل نموذجنا مشكلة قواميس الإخراج ذات الأحجام المتغيرة باستخدام آلية الانتباه العصبي المقترحة حديثًا. يختلف عن المحاولات السابقة للانتباه في أنه بدلاً من استخدام الانتباه لدمج الوحدات الخفية للمشفر إلى متجه سياق في كل خطوة من خطوات المفكك، يستخدم الانتباه كمؤشر لاختيار عنصر من متتابعة المدخل كإخراج. نطلق على هذه المعمارية اسم شبكة المؤشر (Pointer Net أو Ptr-Net). نظهر أن شبكات المؤشر يمكن استخدامها لتعلم حلول تقريبية لثلاثة مشاكل هندسية صعبة -- إيجاد القشرة المحدبة المستوية، وحساب التثليث الدالوني (Delaunay Triangulations)، ومشكلة البائع الجوال المستوية (Travelling Salesman Problem) -- باستخدام أمثلة تدريب فقط. لا تقتصر شبكات المؤشر على تحسين أداء المتتابع إلى متتابع مع انتباه المدخل، بل تسمح أيضًا لنا بالتوسع إلى قواميس إخراج ذات أحجام متغيرة. نوضح أن النماذج التي تم تعلمها تستطيع التعميم خارج أقصى الأطوال التي تم تدريبها عليها. نأمل أن تشجع نتائجنا في هذه المهام على استكشاف أوسع لتعلم العصبونات للمشاكل المتقطعة.