استكشاف الدلائل الهندسية لاكتشاف الأشياء في عالم مفتوح

نتناول مهمة الكشف عن الأشياء في العالم المفتوح دون تمييز بين الفئات، أي كشف كل شيء في الصورة من خلال التعلم من عدد محدود من فئات الأشياء الأساسية. تعاني النماذج الحديثة القائمة على RGB من الانحراف نحو التدريب على الفئات الأساسية وغالبًا ما تفشل في الكشف عن الأشياء الجديدة التي تبدو مختلفة. هذا يعود إلى أن نماذج RGB تعتمد بشكل أساسي على الشبه البصري للكشف عن الأشياء الجديدة وهي عرضة أيضًا للانحراف نحو استخدام مؤشرات قصيرة مثل النقوش والجزء التميزي. لمعالجة هذه العيوب في كاشفات الأشياء القائمة على RGB، نقترح دمج المؤشرات الهندسية مثل العمق والNormals، والتي يتم تقديرها بواسطة مقدرات أحادية الغرض عام. بصفة خاصة، نستخدم المؤشرات الهندسية لتدريب شبكة اقتراح الأشياء لوضع تسميات وهمية للأشياء الجديدة غير المشمولة بالتدوين في مجموعة التدريب. يؤدي جهازنا لكشف الأشياء في العالم المفتوح بمساعدة الهندسة (Geometry-guided Open-world Object Detector - GOOD) إلى تحسين كبير في استرجاع الكشف عن فئات الأشياء الجديدة ويؤدي بالفعل بشكل جيد حتى مع وجود عدد قليل فقط من فئات التدريب. باستخدام فئة واحدة فقط هي "الشخص" للتدريب على مجموعة بيانات COCO، يتفوق جهاز GOOD على أفضل الأساليب الحالية بنسبة 5.0% AR@100، وهو تحسن نسبي بنسبة 24%.