شبكة التعلم المثلثية: من الكشف عن الأشياء ثلاثية الأبعاد باستخدام كاميرا واحدة إلى استخدام كاميرتين

في هذه الورقة، ندرس مشكلة الكشف عن الأجسام ثلاثية الأبعاد من الصور الاستريو، حيث يكمن التحدي الرئيسي في كيفية استخدام المعلومات الاستريو بشكل فعال. على عكس الأساليب السابقة التي تعتمد على خرائط العمق على مستوى البكسل، نقترح استخدام معايير ثلاثية الأبعاد (3D anchors) لبناء تقابلات صريحة بين المناطق ذات الاهتمام في الصور الاستريو، مما يمكن الشبكة العصبية العميقة من تعلم كيفية الكشف عن الجسم المستهدف وتثليثه في الفضاء ثلاثي الأبعاد. كما نقدم استراتيجية إعادة وزن القنوات بتكلفة فعالة تزيد من قوة الخصائص التمثيلية وتقلل من الإشارات الضوضائية لتسهيل عملية التعلم. يتم دمج جميع هذه العناصر بمرنة ضمن كاشف أساسي متين يستخدم الصور أحادية العين. نثبت أن كلًا من الكاشف أحادي العين والشبكة التعليمية لتثليث الصور الاستريو يتفوقان على أفضل الأساليب السابقة في الكشف عن الأجسام ثلاثية الأبعاد وتحديد مواقعها على مجموعة بيانات KITTI الصعبة.