ترميز موضع السياق (CoPE)
CoPE، أو ترميز الموضع السياقي، هي طريقة ترميز موضع مبتكرة اقترحتها الورقة "ترميز الموضع السياقي: تعلم كيفية حساب ما هو مهم"تم اقتراحه في عام 2024. فهو يكسر قيود ترميز الموضع التقليدي (PE) استنادًا إلى عدد الرموز، ويسمح لمعلومات الموضع بالتغيير ديناميكيًا وفقًا لظروف السياق، ويوفر قدرات معالجة بيانات التسلسل أكثر مرونة لنماذج اللغة الكبيرة (LLMs).
في نماذج اللغة الكبيرة (LLMs)، على الرغم من أن آلية الانتباه يمكنها تحقيق التفاعل بين عناصر التسلسل، إلا أنها لا تحتوي على معلومات الترتيب نفسها وتظهر خاصية ثبات التباديل. من أجل تقديم المعلومات المتسلسلة، من الضروري عادةً تقديم ترميز الموضع. ومع ذلك، تعتمد طرق الترميز الموضعي التقليدية على عدد الرموز، مما يحد من قدرة النموذج على التعميم إلى مستويات أعلى من التجريد، مثل تحديد الجملة i مباشرة في تسلسل.
تطبق CoPE فكرتها الأساسية من خلال الخطوات الرئيسية التالية:
- تحديد متجه السياق:يستخدم CoPE متجه السياق لتحديد الرمز الذي يجب حسابه.
- تطبيق آلية البوابة:من خلال آلية البوابة، يقرر CoPE الرموز التي سيتم تضمينها في قياس الموقع.
- حساب الموضع النسبي:بالنسبة لرمز حالي معين كمتجه استعلام، يحسب CoPE قيمة البوابة بينه وبين متجهات المفتاح لجميع الرموز السابقة في التسلسل، ويجمع قيم البوابة هذه لتحديد الموضع النسبي لكل رمز فيما يتعلق بالرمز الحالي.
- تضمين موضع حساب الاستيفاء:على عكس طريقة تعيين متجه تضمين ثابت لكل موضع، يقوم CoPE بحساب تضمين الموضع بشكل ديناميكي من خلال الاستيفاء.
تكمن ميزة CoPE في مرونتها متعددة الأبعاد:
- قياس متعدد الوحدات:يسمح CoPE للنموذج بقياس المسافات في وحدات متعددة مثل الكلمات أو العبارات أو الجمل، اعتمادًا على الاستعلام والطبقة.
- التكيف ديناميكيًا مع السياق:يمكن لـ CoPE التكيف بشكل مرن مع البيئات السياقية المختلفة وتوفير طريقة معالجة بيانات التسلسل الديناميكية والمرتبطة بالسياق.
- تحسينات الأداء:في المهام مثل مهام العد ومهام النسخ الانتقائية ونمذجة اللغة، يظهر CoPE أداءً متفوقًا مقارنة بطرق الترميز الموضعي التقليدية القائمة على الرمز، وخاصة في معالجة البيانات خارج التوزيع والمهام التي تتطلب قدرات تعميم عالية.
يعد تطبيق CoPE في Multi-head Attention بديهيًا بنفس القدر:
- التنفيذ المستقل:يمكن لكل رأس انتباه أن يقوم بشكل مستقل بأداء CoPE الخاص به لتحقيق قياسات مختلفة للمواضع.
- مستويات متعددة من التجريد:النموذج قادر على التركيز على مستويات مختلفة من التجريد في وقت واحد، على سبيل المثال، يمكن لرأس واحد أن يعد الرموز بينما يمكن لرأس آخر أن يعد الجمل.
باختصار، يوفر CoPE استراتيجية ترميز موضعية أكثر كفاءة ومرونة للنماذج اللغوية الكبيرة من خلال الجمع بين الترميز الموضعي والمعلومات السياقية، مما يساعد النموذج على فهم ومعالجة المعلومات البنيوية والدلالية في بيانات التسلسل بشكل أعمق.