HyperAIHyperAI

Command Palette

Search for a command to run...

CoDet: مواءمة مناطق الكلمات ب导读共现 للكشف عن الأشياء ذات المفردات المفتوحة

Ma Chuofan ; Jiang Yi ; Wen Xin ; Yuan Zehuan ; Qi Xiaojuan

الملخص

استخلاص تطابق موثوق بين المنطقة والكلمة من أزواج الصور النصوص هو أمر حاسم لتعلم تمثيلات الرؤية واللغة على مستوى الكائنات للكشف عن الكائنات ذات المفردات المفتوحة. الطرق الحالية تعتمد عادةً على نماذج الرؤية واللغة المدربة مسبقًا أو الذاتية التدريب للتطابق، والتي تكون عرضة للقيود في دقة التحديد أو قدرات التعميم. في هذا البحث، نقترح CoDet، وهي طريقة جديدة تتخطى الاعتماد على فضاء الرؤية واللغة المُحاذاة مسبقًا بإعادة صياغة تطابق المنطقة-الكلمة كمشكلة اكتشاف كائنات متزامنة. بحدس، من خلال تجميع الصور التي تذكر مفهومًا مشتركًا في عناوينها، يجب أن يظهر الكائنات المرتبطة بمفهوم مشترك نسبة عالية من التزامن داخل المجموعة. ثم تستفيد CoDet من الشبهات البصرية لاكتشاف الكائنات المتزامنة ومحاذاتها مع المفهوم المشترك. تُظهر التجارب الواسعة أن CoDet لديها أداءً أفضل وقابلية توسع مقنعة في الكشف عن المفردات المفتوحة، مثل عند زيادة حجم العمود الفقري البصري، تحقق CoDet 37.0 APnovelm\text{AP}^m_{novel}APnovelm و44.7 APallm\text{AP}^m_{all}APallm على OV-LVIS، مما يتفوق على أفضل الأداء السابق بمقدار 4.2 APnovelm\text{AP}^m_{novel}APnovelm و9.8 APallm\text{AP}^m_{all}APallm. يمكن الحصول على الكود من https://github.com/CVMI-Lab/CoDet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp