طريقة ترميز موضع DAPE

DAPE، وهو اختصار لـ Data-Adaptive Positional Encoding، هو طريقة ترميز موضعية جديدة اقترحها Zheng Chuanyang وآخرون من الجامعة الصينية في هونج كونج. ويضم فريق البحث أيضًا باحثين من الجامعة الوطنية في سنغافورة، ومختبر نوح، وجامعة هونج كونج، وجامعة هونج كونج المعمدانية. تم قبول هذا البحث في NeurIPS 2024، وكانت نتائج الورقة "DAPE: ترميز موضعي متكيف مع البيانات لاستقراء الطول"

يعمل DAPE على تحسين أداء النموذج بشكل كبير عند معالجة النصوص الطويلة عن طريق ضبط الترميز الموضعي بشكل ديناميكي للتكيف مع سياق الإدخال والقيم الثابتة المكتسبة. إنه يجمع بين المعلومات الدلالية ومعلومات الموضع، مما يسمح بتعديل ترميز الموضع بشكل تكيفي وفقًا لبيانات الإدخال، والتغلب على قيود طرق ترميز الموضع التقليدية (مثل ترميز الموضع المطلق APE وترميز الموضع النسبي RPE).

الفكرة الأساسية لـ DAPE هي استخدام شبكة عصبية ذات طبقتين لتحديد معلمات الترميز الموضعي بحيث يمكن تعديلها ديناميكيًا وفقًا لسياق الإدخال. يتيح هذا التصميم للترميز الموضعي أن يكون متكيفًا ويعتمد على بيانات الإدخال. في مهام اللغة الطبيعية، تم تصميم DAPE لالتقاط العلاقات المعقدة بين الرموز. من خلال تقديم مجموعة من المعلومات الدلالية ومعلومات الموضع، يعمل DAPE على تحسين أداء نموذج Transformer بشكل كبير في معالجة النصوص الطويلة.