HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم تشفير الموضع لمحول باستخدام نموذج ديناميكي مستمر

Xuanqing Liu Hsiang-Fu Yu Inderjit Dhillon Cho-Jui Hsieh

الملخص

نقدّم طريقة جديدة لتعلم ترميز معلومات الموقع في النماذج غير التكرارية، مثل نماذج الترانسفورمر. على عكس النماذج ذات التكرار (RNN) والذكاء الاصطناعي التكراري (LSTM)، التي تحتوي على انحياز استنتاجي من خلال معالجة الرموز المدخلة تسلسليًا، فإن النماذج غير التكرارية أقل حساسية تجاه الموقع. السبب الرئيسي هو أن المعلومات المتعلقة بالموقع بين الوحدات المدخلة لا يتم ترميزها بشكل طبيعي، أي أن النماذج تكون متساوية بالنسبة للتباديل؛ وهذا يفسر سبب احتواء جميع النماذج الحالية على طبقة ترميز جيبي/ترميز موقع عند المدخلات. ومع ذلك، فإن هذا الحل يمتلك قيودًا واضحة: إذ أن الترميز الجيبي ليس كافيًا في المرونة نظرًا لأنه مصمم يدويًا ولا يحتوي على أي معلمات قابلة للتعلم، في حين أن الترميز الموقعي يقيد الطول الأقصى للسلاسل المدخلة. لذا، يُعد من الضروري تصميم طبقة موقع جديدة تحتوي على معلمات قابلة للتعلم، لتتكيف مع مجموعات بيانات مختلفة ومعماريات مختلفة. في الوقت نفسه، نرغب أيضًا في أن تتمكن الترميزات من التمديد (الاستقراء) وفقًا لتغير طول المدخلات. في الحل المقترح، نستلهم من المنهجية الحديثة المعروفة بـ "المعادلات التفاضلية العصبية" (Neural ODE)، التي يمكن اعتبارها نسخة مستمرة متنوعة لنموذج ResNet. ويتميز هذا النموذج بقدرته على نمذجة العديد من أنواع الأنظمة الديناميكية. ونُمذّل تطور النتائج المُرمَّزة وفقًا لمؤشر الموقع باستخدام هذا النظام الديناميكي، مما يسمح بالتغلب على القيود المذكورة سابقًا في الأساليب الحالية. وقد قُمنا بتقييم طبقات الموقع الجديدة في مجموعة متنوعة من مهام الترجمة الآلية والفهم اللغوي، وأظهرت النتائج التجريبية تحسينات مستمرة مقارنة بالأساليب الأساسية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تعلم تشفير الموضع لمحول باستخدام نموذج ديناميكي مستمر | مستندات | HyperAI