تعلم التمثيلات الكثيفة للعبارات على نطاق واسع

يمكن إعادة صياغة إجابة الأسئلة في النطاق المفتوح كمشكلة استرجاع العبارات، دون الحاجة إلى معالجة المستندات عند الحاجة أثناء الاستنتاج (Seo et al., 2019). ومع ذلك، تعتمد النماذج الحالية لاسترجاع العبارات بشكل كبير على التمثيلات النادرة، وتظل تُظهر أداءً أقل من نماذج الاسترجاع-القراءة. في هذه الدراسة، نُظهر لأول مرة أنه يمكننا تعلُّم تمثيلات كثيفة للعبارات وحدها، والتي تحقق أداءً أقوى بشكل كبير في مهام إجابة الأسئلة في النطاق المفتوح. نقدّم طريقة فعّالة لتعلم تمثيلات العبارات من خلال الإشراف على مهام فهم القراءة، مدعومة بأساليب جديدة لاختيار العينات السلبية. كما نقترح استراتيجية لتحسين التخصيص من جانب الاستعلام، التي تدعم التعلم الانتقالي وتقلل من الفجوة بين التدريب والاستنتاج. على خمسة مجموعات بيانات شهيرة لمهام إجابة الأسئلة في النطاق المفتوح، تتفوّق نموذجنا DensePhrases على النماذج السابقة لاسترجاع العبارات بنسبة 15% إلى 25% من حيث الدقة المطلقة، وتحقيق أداءً مماثلاً للنماذج الرائدة في مجال الاسترجاع-القراءة. يُعد نموذجنا سهل التوازي بسبب استخدامه التمثيلات الكثيفة فقط، ويُعالج أكثر من 10 أسئلة في الثانية على وحدات المعالجة المركزية (CPU). وأخيرًا، نستخدم تمثيلات العبارات الكثيفة المُفهرسة مسبقًا مباشرة في مهام تعبئة الحقول (slot filling)، مما يُظهر القدرة الواعدة لاستخدام DensePhrases كقاعدة معرفة كثيفة للمهام اللاحقة.