شبكة الشروط المتبادلة ذات البوابة الثنائية لتعقب RGBT

النماذج ذات الجودة المنخفضة تحتوي ليس فقط على معلومات ضوضائوية كثيرة ولكن أيضًا على بعض الخصائص التمييزية في تتبع الأشعة الحمراء القريبة والرؤية ثلاثية الأبعاد (RGBT). ومع ذلك، لم يتم استكشاف إمكانات النماذج ذات الجودة المنخفضة بشكل جيد في خوارزميات تتبع RGBT الحالية. في هذا العمل، نقترح شبكة شرطية ثنائية جديدة للاستفادة الكاملة من المعلومات التمييزية لجميع النماذج مع تقليل آثار الضوضاء في البيانات. بصفة خاصة، صممنا وحدة الشرط المتبادل التي تأخذ المعلومات التمييزية لنموذج ما كشرط لإرشاد تعلم الخصائص المرئية للهدف في نموذج آخر. يمكن لهذه الوحدة أن تعزز تمثيلات الهدف لجميع النماذج بشكل فعال حتى في وجود نماذج ذات جودة منخفضة. لتحسين جودة الشروط وتقليل الضوضاء في البيانات بشكل أكبر، اقترحنا آلية بوابات ثنائية وأدمجناها في وحدة الشرط المتبادل. للتعامل مع فشل التتبع الناجم عن حركة الكاميرا المفاجئة، وهي مشكلة شائعة في تتبع RGBT، صممنا استراتيجية إعادة العينات تستند إلى خوارزميات التدفق البصري. لا يزيد هذا الإجراء كثيرًا من الكلفة الحسابية لأنه يتم حساب التدفق البصري فقط عندما تكون توقعات النموذج غير موثوقة، ثم يتم تنفيذ إعادة العينات عند اكتشاف حركة الكاميرا المفاجئة. أظهرت التجارب الواسعة على أربع مجموعات بيانات مرجعية لتتبع RGBT أن طريقتنا تؤدي بشكل أفضل مقابل أفضل الخوارزميات المتاحة حاليًا للتتبع.