HyperAIHyperAI

Command Palette

Search for a command to run...

روما: مطابقة ميزات كثيفة مقاومة للضوضاء

Johan Edstedt Qiyu Sun Georg Bökman Mårten Wadenbäck Michael Felsberg

الملخص

تطابق الميزات هو مهمة مهمة في رؤية الحاسوب تتعلق بتقدير التقابلات بين صورتين لمشهد ثلاثي الأبعاد، وتشمل الطرق الكثيفة تقدير جميع هذه التقابلات. الغرض هو تعلم نموذج قوي، أي نموذج قادر على التطابق تحت التغيرات الواقعية الصعبة. في هذا العمل، نقترح مثل هذا النموذج، مستفيدين من الميزات المدربة مسبقًا والمجمدة من النموذج الأساسي DINOv2. رغم أن هذه الميزات أكثر قوة بكثير من الميزات المحلية التي يتم تدريبها من الصفر، إلا أنها خشنة بطبيعتها. ولذلك، نقوم بدمجها مع ميزات دقيقة متخصصة من الشبكات العصبية التلافيفية (ConvNet)، مما يخلق هرم ميزات يمكن تحديده بدقة. لتحسين القوة بشكل أكبر، نقترح فكّاً مطابقاً مصمماً خصيصاً للترانسفورمر يتنبأ باحتمالات النقاط المرجعية، مما يمكّنه من التعبير عن متعدد الأوضاع (multimodality). أخيرًا، نقترح صيغة خسارة محسنة عبر التصنيف بالانحدار (regression-by-classification) مع انحدار قوي لاحق. نجري مجموعة شاملة من التجارب تظهر أن طريقتنا RoMa تحقق مكاسب كبيرة وتضع سجلًا جديدًا للحالات الرائدة. وبشكل خاص، نحقق تحسنًا بنسبة 36% في مقاييس WxBS الصعبة للغاية. الرمز البرمجي متاح على https://github.com/Parskatt/RoMa


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp