OV-DQUO: DETR ذو المفردات المفتوحة مع تدريب الاستعلامات النصية المُنظَّفة وإشراف على الأشياء غير المعروفة في العالم المفتوح

اكتشاف المفردات المفتوحة يهدف إلى اكتشاف الأشياء من فئات جديدة تتجاوز الفئات الأساسية التي تم تدريب الكاشف عليها. ومع ذلك، فإن الكاشفات الحالية للمفردات المفتوحة التي يتم تدريبها على بيانات الفئات الأساسية تميل إلى إسناد درجات ثقة أعلى للفئات المدربة وخلط الفئات الجديدة بالخلفية. لحل هذه المشكلة، نقترح OV-DQUO، وهو DETR مفتوح المفردات مع استراتيجية التدريب على استعلامات النص المنقاة (Denoising text Query) وإشراف الأشياء غير المعروفة في العالم المفتوح (open-world Unknown Objects). بصفة خاصة، نقدم طريقة مطابقة الرموز البرمجية (wildcard matching). هذه الطريقة تمكن الكاشف من التعلم من أزواج الأشياء غير المعروفة التي تم التعرف عليها بواسطة الكاشف العالمي المفتوح والتمثيلات النصية ذات الدلالات العامة، مما يخفف الانحياز في الدرجة بين الفئات الأساسية والفئات الجديدة. بالإضافة إلى ذلك، نقترح استراتيجية التدريب على استعلامات النص المنقاة. تقوم هذه الاستراتيجية بتركيب أزواج صناديق الاستعلام الأولى والخلفية من الأشياء غير المعروفة في العالم المفتوح لتدريب الكاشف عبر التعلم التضادي (contrastive learning)، مما يعزز قدرته على تمييز الأشياء الجديدة عن الخلفية. أجرينا تجارب واسعة النطاق على مقاييس OV-COCO وOV-LVIS الصعبة، وحققنا نتائجًا جديدة رائدة بلغت 45.6 AP50 و39.3 mAP على الفئات الجديدة على التوالي، دون الحاجة إلى بيانات تدريب إضافية. تم إطلاق النماذج والكود في \url{https://github.com/xiaomoguhz/OV-DQUO}.