HyperAIHyperAI

Command Palette

Search for a command to run...

مُدَرِّب دِي تِر: تدريب متعدد المسارات توجيهي لمحولات الكشف

Chang-Bin Zhang Yujie Zhong Kai Han

الملخص

تُحسّن الطرق الحالية تدريب نماذج التحويل (transformers) للكشف من خلال دمج تعيين إضافي من نوع واحد إلى كثير. في هذه الدراسة، نعامل النموذج كإطار متعدد المهام، حيث نُنفّذ التنبؤات من نوع واحد إلى واحد والتنبؤات من نوع واحد إلى كثير في آنٍ واحد. ونُجري تحليلًا لدور كل مكوّن في مُفكّك التحويل (transformer decoder) فيما يتعلق بهذه الهدفين التدريبيين، بما في ذلك الانتباه الذاتي (self-attention)، والانتباه المتقاطع (cross-attention)، والشبكة العصبية المُتعددة الطبقات (feed-forward network). تُظهر النتائج التجريبية أن أي مكوّن مستقل داخل المُفكّك يمكنه تعلّم كلا الهدفين بشكل فعّال في آنٍ واحد، حتى عند مشاركة المكونات الأخرى. يستند هذا الاكتشاف إلى اقتراحنا آلية تدريب متعددة المسارات، تضم مسارًا رئيسيًا للتنبؤ من نوع واحد إلى واحد، ومسارين إضافيين للتنبؤ من نوع واحد إلى كثير. ونُحسّن آلية التدريب من خلال انتباه ذاتي توجيهي جديد، يُوجّه استفسارات الكائنات بشكل ديناميكي ومُرن للتنبؤ من نوع واحد إلى كثير. ويتم إزالة المسارات الإضافية أثناء الاستنتاج، مما يضمن عدم التأثير على بنية النموذج أو تكلفة الاستنتاج. أجرينا تجارب واسعة على مجموعة متنوعة من النماذج الأساسية، وحققنا تحسينات متسقة كما هو موضح في الشكل 1. صفحة المشروع: https://visual-ai.github.io/mrdetr


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp