HyperAIHyperAI

Command Palette

Search for a command to run...

نمذجة العلاقة المعممة للاستشعار باستخدام المحول

Shenyuan Gao Chunluan Zhou Jun Zhang

الملخص

مقارنة بالراقبين ذات التدفق المزدوج السابقين، حقق النموذج الحديث ذي التدفق الواحد، الذي يسمح بتقاطع مبكر بين منطقة القالب ومنطقة البحث، تحسناً ملحوظاً في الأداء. ومع ذلك، فإن الراقبين ذوي التدفق الواحد الحاليين يسمحون دائماً لمنطقة القالب بالتفاعل مع جميع الأجزاء داخل منطقة البحث عبر جميع طبقات المشفر (encoder). وقد يؤدي هذا إلى ارتباك بين الهدف والخلفية عندما تكون تمثيلات الميزات المستخرجة غير كافية في التمييز. ولتخفيف هذه المشكلة، نقترح طريقة عامة لنمذجة العلاقات تعتمد على تقسيم الرموز التكيفية (adaptive token division). وتُعد هذه الطريقة صيغة عامة لنمذجة العلاقات المستندة إلى الانتباه في تتبع نموذج Transformer، حيث ترث مزايا نهجي التدفق المزدوج والتدفق الواحد السابقين، مع تمكين نمذجة علاقات أكثر مرونة من خلال اختيار الرموز المناسبة من منطقة البحث للتفاعل مع رموز القالب. كما نُدخل استراتيجية قناع الانتباه (attention masking) وتقنية جومبل-سوفيماكس (Gumbel-Softmax) لتسهيل الحساب المتوازي وتعلم النموذج من البداية إلى النهاية (end-to-end) لوحدة تقسيم الرموز. تُظهر التجارب الواسعة أن طريقةنا تتفوق على نهجي التدفق المزدوج والتدفق الواحد، وتُحقق أداءً رائداً في مجال التحدي (state-of-the-art) على ستة معايير صعبة، مع سرعة تشغيل في الوقت الحقيقي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp