توسيع الكشف عن الأشياء ذات المفردات المفتوحة

الكشف عن الأشياء بمعجم مفتوح قد استفاد بشكل كبير من نماذج الرؤية واللغة المدربة مسبقًا، ولكنه لا يزال محدودًا بسبب كمية البيانات التدريبية المتاحة للكشف. بينما يمكن توسيع بيانات التدريب للكشف باستخدام أزواج الصور النصية من الإنترنت كإشراف ضعيف، لم يتم القيام بذلك بمقياس يعادل تدريب الصور على المستوى الفردي. في هذا السياق، نوسع بيانات التدريب باستخدام التدريب الذاتي، الذي يستخدم كاشفًا موجودًا لإنشاء شبه توضيحات صندوقية على أزواج الصور النصية. من بين التحديات الرئيسية في توسيع التدريب الذاتي هي اختيار فضاء العلامات، تصفيه الشبه توضيحات، وكفاءة التدريب. نقدم نموذج OWLv2 ووصفة OWL-ST للتدريب الذاتي، والتي تعالج هذه التحديات. يتفوق OWLv2 على أداء الكاشفات السابقة ذات المعجم المفتوح بالفعل عند مستويات تدريب مماثلة (حوالي 10 مليون مثال). ومع ذلك، باستخدام OWL-ST، يمكننا الوصول إلى أكثر من مليار مثال، مما يؤدي إلى تحسين كبير آخر: مع بنية L/14، يحسن OWL-ST مؤشر الدقة AP لفئات LVIS النادرة، التي لم يرها النموذج أي توضيحات صندوقية بشرية، من 31.2٪ إلى 44.6٪ (تحسين نسبي بنسبة 43٪). يفتح OWL-ST الباب أمام التدريب بمقياس الإنترنت لتحديد الموقع في العالم المفتوح، مشابه لما تم رؤيته في تصنيف الصور ونمذجة اللغة.