HyperAIHyperAI

Command Palette

Search for a command to run...

الدمج الوسطي والدلالات متعددة المراحل وأشكالها لتعقب RGB-T الدقيق

Qiming Wang Yongqiang Bai Hongxing Song

الملخص

تعتبر متابعة RGB-T، وهي مهمة أساسية ضمن مجال متابعة الأهداف، قد حققت تقدماً ملحوظاً في السنوات الأخيرة. ومع ذلك، لا تزال تعاني من تحديين رئيسيين: 1) التوازن بين الأداء والكفاءة؛ 2) ندرة بيانات التدريب. لحل التحدي الثاني، استخدم بعض الطرق الحديثة الإرشادات (prompts) لضبط نماذج المتابعة المدربة مسبقًا على RGB وتوظيف المعرفة الأولية بطريقة كفؤة من حيث المعلمات. ومع ذلك، فإن هذه الطرق لا تستكشف بشكل كافٍ الأنماط المستقلة عن الوسائط وتتجاهل الثقة الديناميكية للوسائط المختلفة في السيناريوهات المفتوحة.نقترح M3PT، وهو طريقة جديدة لمتابعة RGB-T باستخدام الاندماج الوسطي والإرشادات البصرية متعددة الوسائط ومراحل متعددة للتغلب على هذه التحديات. نحن الرواد في استخدام إطار العمل المرنة للاندماج الوسطي القابل للتعديل في متابعة RGB-T، والذي يمكن أن يساعد المحرك المتابع على موازنة الأداء مع الكفاءة لتلبية مختلف احتياجات التطبيقات. بالإضافة إلى ذلك، بناءً على هذا الإطار العام، نستفيد من استراتيجيات إرشاد مرنة متعددة لتكيف النموذج المدرب مسبقًا مع استكشاف شامل لأنماط وسيلة واحدة وتحسين نمذجة الخصائص المندمجة للوسائط في سيناريوهات ذات أولويات مختلفة للوسائط، مما يتيح الاستفادة من إمكانات تعلم الإرشادات في متابعة RGB-T.عند تقييمها على ستة مقاييس صعبة موجودة بالفعل، تتفوق طرقتنا على أفضل الطرق السابقة التي تعتمد على ضبط الإرشادات مع الحفاظ على تنافسية عالية مقابل الطرق الرائدة التي تعتمد على ضبط جميع المعلمات، وذلك باستخدام فقط 0.34 مليون معلمة مدربة بدقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp