شبكة سيامية ثنائية للتعقب الزمني الحقيقي للمُعجَمات

لقد لاحظنا أن الخصائص الدلالية التي يتم تعلمها في مهمة تصنيف الصور والخصائص البصرية التي يتم تعلمها في مهمة مطابقة التشابه تكمل بعضها البعض، ولذلك قمنا ببناء شبكة سيامية ثنائية الأغصان، أطلقنا عليها اسم SA-Siam، لمتابعة الأهداف في الوقت الحقيقي. تتكون SA-Siam من فرع دلالي وفرع بصري. كل فرع هو شبكة سيامية تقوم بتعلم التشابه. أحد الخيارات التصميمية المهمة في SA-Siam هو تدريب الفرعين بشكل منفصل للحفاظ على الاختلاف بين نوعي الخصائص. بالإضافة إلى ذلك، نقترح آلية انتباه القنوات للفرع الدلالي. يتم حساب الأوزان حسب القنوات بناءً على التنشيطات حول موقع الهدف. بينما يسمح لنا الهيكل الموروث من SiamFC \cite{SiamFC} بمتابعة الهدف بأكثر من سرعة الوقت الحقيقي، فإن التصميم الثنائي وآلية الانتباه تحسن بشكل كبير أداء المتابعة. لقد أظهرت SA-Siam المقترحة تفوقًا واضحًا على جميع متابعي الوقت الحقيقي الآخرين في مقاييس OTB-2013/50/100.