مُدَرِّب دِي تِر: تدريب متعدد المسارات توجيهي لمحولات الكشف

تُحسّن الطرق الحالية تدريب نماذج التحويل (transformers) للكشف من خلال دمج تعيين إضافي من نوع واحد إلى كثير. في هذه الدراسة، نعامل النموذج كإطار متعدد المهام، حيث نُنفّذ التنبؤات من نوع واحد إلى واحد والتنبؤات من نوع واحد إلى كثير في آنٍ واحد. ونُجري تحليلًا لدور كل مكوّن في مُفكّك التحويل (transformer decoder) فيما يتعلق بهذه الهدفين التدريبيين، بما في ذلك الانتباه الذاتي (self-attention)، والانتباه المتقاطع (cross-attention)، والشبكة العصبية المُتعددة الطبقات (feed-forward network). تُظهر النتائج التجريبية أن أي مكوّن مستقل داخل المُفكّك يمكنه تعلّم كلا الهدفين بشكل فعّال في آنٍ واحد، حتى عند مشاركة المكونات الأخرى. يستند هذا الاكتشاف إلى اقتراحنا آلية تدريب متعددة المسارات، تضم مسارًا رئيسيًا للتنبؤ من نوع واحد إلى واحد، ومسارين إضافيين للتنبؤ من نوع واحد إلى كثير. ونُحسّن آلية التدريب من خلال انتباه ذاتي توجيهي جديد، يُوجّه استفسارات الكائنات بشكل ديناميكي ومُرن للتنبؤ من نوع واحد إلى كثير. ويتم إزالة المسارات الإضافية أثناء الاستنتاج، مما يضمن عدم التأثير على بنية النموذج أو تكلفة الاستنتاج. أجرينا تجارب واسعة على مجموعة متنوعة من النماذج الأساسية، وحققنا تحسينات متسقة كما هو موضح في الشكل 1. صفحة المشروع: https://visual-ai.github.io/mrdetr