اكتشاف متعدد الآراء باستخدام متحول الظل (ومكمل البيانات المتماسك بين الآراء)

الكشف متعدد المناظر يدمج عدة زوايا كاميرات للتعامل مع الإخفاءات، ومشكلته المركزية هي تجميع الزوايا المتعددة. نظرًا لوجود خرائط ميزات تم إسقاطها من زوايا متعددة على مستوى الأرض المشترك، فإن الطريقة الأكثر تقدمًا حاليًا تحل هذه المشكلة عبر التفاف (convolution)، الذي يطبق نفس الحساب بغض النظر عن مواقع الأشياء. ومع ذلك، قد لا تكون مثل هذه السلوكيات الثابتة بالترجمة الخيار الأفضل، حيث تخضع ميزات الأشياء لتشوهات الإسقاط المختلفة حسب مواقعها والكاميرات.في هذا البحث، نقترح نظام كشف متعدد المناظر جديد يُسمى MVDeTr، والذي يستخدم محول الظل (shadow transformer) المقدم حديثًا لتجميع المعلومات من الزوايا المتعددة. على عكس التفافات (convolutions)، فإن محول الظل يركز بشكل مختلف في مواقع مختلفة وفي كاميرات مختلفة للتعامل مع تشوهات شبيهة بالظلال. نقترح أيضًا مخطط تدريب فعال يتضمن طريقة جديدة لتقوية البيانات المتوافقة مع الزاوية البصرية، والتي تطبق تعزيزات عشوائية مع الحفاظ على توافق الزوايا المتعددة.على منصتي الاختبار لمراقبة الزوايا المتعددة، نبلغ بدقة جديدة تعتبر الأكثر تقدمًا حاليًا باستخدام النظام المقترح. يمكن الحصول على الكود من الرابط: https://github.com/hou-yz/MVDeTr.