نماذج التصنيف العصبي مع الإشراف الضعيف

رغم التحسينات الملفتة التي حققتها الشبكات العصبية العميقة غير المراقبة في مهام الرؤية الحاسوبية ومعالجة اللغة الطبيعية، لم يتم ملاحظة مثل هذه التحسينات بعد في ترتيب النتائج لاسترجاع المعلومات. قد يكون السبب هو تعقيد مشكلة الترتيب، حيث ليس من الواضح كيفية التعلم من الاستعلامات والمستندات عندما لا تكون هناك إشارات مراقبة. لذلك، في هذا البحث، نقترح تدريب نموذج تصنيف عصبي باستخدام الإشراف الضعيف، حيث يتم الحصول على التسميات تلقائيًا دون الحاجة إلى مصححين بشر أو أي موارد خارجية (مثل بيانات النقر). لتحقيق هذا الهدف، نستخدم إخراج نموذج تصنيف غير مراقب، مثل BM25، كإشارة إشراف ضعيف. كما نقوم بتدريب مجموعة من نماذج الترتيب البسيطة ولكن الفعالة المستندة إلى الشبكات العصبية الأمامية. ندرس فعاليتها في سيناريوهات تعلم مختلفة (نماذج نقطة بنقطة ونموذج زوجي) واستخدام تمثيلات مدخل مختلفة (أي من ترميز أزواج الاستعلام-الوثيقة إلى متجهات كثيفة/نادرة أو استخدام تمثيل الانغراس الكلمات). نقوم بتدريب شبكاتنا باستخدام عشرات الملايين من حالات التدريب وتقييمها على مجموعتين قياسيتين: مجموعة أخبار متجانسة (Robust) ومجموعة ويب كبيرة ومتنوعة (ClueWeb). تشير تجاربنا إلى أن استخدام دوال هدف مناسبة والسماح للشبكات بالتعلم من تمثيل المدخل استنادًا إلى البيانات شبه المراقبة يؤدي إلى أداء رائع، مع تحقيق تحسن بنسبة أكثر من 13٪ و35٪ في دقة الوسط الحسابي للترتب (MAP) فوق نموذج BM25 في مجموعتي Robust وClueWeb. كما تقترح نتائجنا أن يمكن لنماذج الترتيب العصبية المراقبة الاستفادة بشكل كبير من التدريب الأولي على كميات كبيرة من البيانات شبه المصنفة التي يمكن الحصول عليها بسهولة من نماذج استرجاع المعلومات غير المراقبة.