CoDet: مواءمة مناطق الكلمات ب导读共现 للكشف عن الأشياء ذات المفردات المفتوحة

استخلاص تطابق موثوق بين المنطقة والكلمة من أزواج الصور النصوص هو أمر حاسم لتعلم تمثيلات الرؤية واللغة على مستوى الكائنات للكشف عن الكائنات ذات المفردات المفتوحة. الطرق الحالية تعتمد عادةً على نماذج الرؤية واللغة المدربة مسبقًا أو الذاتية التدريب للتطابق، والتي تكون عرضة للقيود في دقة التحديد أو قدرات التعميم. في هذا البحث، نقترح CoDet، وهي طريقة جديدة تتخطى الاعتماد على فضاء الرؤية واللغة المُحاذاة مسبقًا بإعادة صياغة تطابق المنطقة-الكلمة كمشكلة اكتشاف كائنات متزامنة. بحدس، من خلال تجميع الصور التي تذكر مفهومًا مشتركًا في عناوينها، يجب أن يظهر الكائنات المرتبطة بمفهوم مشترك نسبة عالية من التزامن داخل المجموعة. ثم تستفيد CoDet من الشبهات البصرية لاكتشاف الكائنات المتزامنة ومحاذاتها مع المفهوم المشترك. تُظهر التجارب الواسعة أن CoDet لديها أداءً أفضل وقابلية توسع مقنعة في الكشف عن المفردات المفتوحة، مثل عند زيادة حجم العمود الفقري البصري، تحقق CoDet 37.0 $\text{AP}^m_{novel}$ و44.7 $\text{AP}^m_{all}$ على OV-LVIS، مما يتفوق على أفضل الأداء السابق بمقدار 4.2 $\text{AP}^m_{novel}$ و9.8 $\text{AP}^m_{all}$. يمكن الحصول على الكود من https://github.com/CVMI-Lab/CoDet.