HyperAIHyperAI

Command Palette

Search for a command to run...

TransforMatcher: انتباه المطابقة-إلى-المطابقة للتوافق الدلالي

Seungwook Kim Juhong Min Minsu Cho

الملخص

إرساء تطابقات بين الصور يظل مهمة صعبة، خاصة في ظل التغيرات الكبيرة في المظهر الناتجة عن وجهات نظر مختلفة أو التغيرات داخل الفئة. في هذه الدراسة، نقدم نموذجًا قويًا للتعلم في التماثل الصوتي يُسمى TransforMatcher، الذي يعتمد على النجاح الذي حققته شبكات التحويل (Transformer) في المجالات البصرية. على عكس النماذج الحالية القائمة على التباديل أو الانتباه، يقوم TransforMatcher بتنفيذ انتباه من مطابقة إلى مطابقة على مستوى عالمي لتحديد موقع المطابقة بدقة وتحسينها ديناميكيًا. ولمعالجة عدد كبير من المطابقات في خريطة الترابط الكثيفة، طوّرنا بنية انتباه خفيفة الوزن لاعتبار التفاعلات العالمية بين المطابقات. كما نقترح استخدام خريطة ترابط متعددة القنوات للتحسين، مع اعتبار الدرجات متعددة المستويات كمميزات بدلًا من درجة واحدة، بهدف استغلال كامل للدلالات الطبقية الغنية. وفي التجارب، حقق TransforMatcher أداءً جديدًا على مستوى الحالة الراهنة (SOTA) على مجموعة SPair-71k، مع أداء مماثل للطرق المتطورة الحالية على مجموعة PF-PASCAL.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp