Command Palette
Search for a command to run...
آلية الاندماج المستندة إلى التوليد للتعقب متعدد الأوضاع
آلية الاندماج المستندة إلى التوليد للتعقب متعدد الأوضاع
Zhangyong Tang Tianyang Xu Xuefeng Zhu Xiao-Jun Wu* Josef Kittler
الملخص
تلقت نماذج التوليد (GMs) اهتمامًا بحثيًا متزايدًا بسبب قدرتها الملفتة على تحقيق فهم شامل. ومع ذلك، ظل إمكانية تطبيقها في مجال تتبع الأنظمة المتعددة الوسائط نسبيًا غير مستكشف. في هذا السياق، نسعى إلى الكشف عن إمكانات الاستفادة من تقنيات التوليد لمعالجة التحدي الحاسم، وهو دمج المعلومات، في تتبع الأنظمة المتعددة الوسائط. في هذه الورقة البحثية، نغوص في تقنيتين بارزتين من تقنيات النماذج التوليدية وهما شبكات التضاد التوليدية المشروطة (CGANs) ونماذج الانتشار (DMs). على عكس عملية الدمج القياسية حيث يتم تقديم الخصائص من كل وسيط مباشرة إلى كتلة الدمج، نقوم بتكييف هذه الخصائص المتعددة الوسائط بالضوضاء العشوائية ضمن إطار النموذج التوليدي، مما يحول الفعليات الأولية للتدريب إلى حالات أكثر صعوبة. هذا التصميم يتفوق في استخراج المؤشرات المميزة من الخصائص، مما يعزز أداء التتبع النهائي. لقياس فعالية نهجنا بشكل كمي، أجرينا تجارب واسعة النطاق عبر مهامين لتتبع الأنظمة المتعددة الوسائط، ثلاث طرق أساسية، وثلاث معايير تحكيمية صعبة. تظهر نتائج التجارب أن الآلية المقترحة للدمج المستند إلى النموذج التوليدي تحقق أداءً رائدًا في المجال، وتضع سجلات جديدة على معياري LasHeR وRGBD1K.