الترابط الآلي للتمثيلات لتنبؤات هيكلية

التمثيلات السياقية المسبقة هي تمثيلات كلمات قوية لمهام التنبؤ الهيكلي. وقد أظهرت الدراسات الحديثة أن يمكن الحصول على تمثيلات كلمات أفضل من خلال دمج أنواع مختلفة من التمثيلات. ومع ذلك، فإن اختيار التمثيلات لتشكيل أفضل تمثيل مدمج يختلف عادةً حسب المهمة ومجموعة التمثيلات المرشحة، ويزداد عدد أنواع التمثيلات باستمرار مما يجعل المشكلة أكثر صعوبة. في هذا البحث، نقترح آلية تجميع التمثيلات بشكل آلي (Automated Concatenation of Embeddings - ACE) لتسهيل عملية العثور على تجميع أفضل للتمثيلات لمهام التنبؤ الهيكلي، وذلك بناءً على صياغة مستوحاة من التقدم الحديث في البحث عن الهندسة العصبية. بوجه خاص، يقوم متحكم بالتناوب في اختيار تجميع للتمثيلات وفقًا لتقديره الحالي لفعالية كل نوع من أنواع التمثيلات التي يتم النظر فيها للمهمة، ويقوم بتحديث تقديره بناءً على مكافأة. نتبع استراتيجيات التعليم التعزيزي لتحسين معلمات المتحكم وحساب المكافأة بناءً على دقة نموذج المهمة، الذي يتلقى تجميعًا مشتركًا كمدخل ويتم تدريبه على مجموعة بيانات المهمة. تظهر النتائج التجريبية على ست مهمات و21 مجموعة بيانات أن نهجنا يتفوق على القواعد الأساسية القوية ويحقق أداءً رائدًا مع تعديل التمثيلات في جميع عمليات التقييم.