الكشف عن الأشياء وتقدير الزاوية البصرية بأقل عدد من الصور للأشياء في الطبيعة

اكتشاف الأشياء وتقدير وجهات نظرها في الصور هي مهام رئيسية لفهم المشهد ثلاثي الأبعاد. قد حققت الطرق الحديثة نتائج ممتازة على مقاييس كبيرة جدًا لاكتشاف الأشياء وتقدير وجهات النظر. ومع ذلك، لا تزال الأداء يتأخر بالنسبة للفئات الجديدة من الأشياء ذات العينات القليلة. في هذا البحث، نواجه مشاكل اكتشاف الأشياء بعينات قليلة وتقدير وجهات النظر بعينات قليلة. نظهر فوائد توجيه التنبؤات الشبكية باستخدام خصائص تمثيل الفئات المستخرجة من بيانات بأصناف مختلفة: شرائح الصور لاكتشاف الأشياء، ونماذج ثلاثية الأبعاد محاذاة لتقدير وجهات النظر. رغم بساطتها، فإن طريقة عملنا تتفوق على أفضل الطرق الحالية بمقدار كبير على مجموعة متنوعة من المجموعات البيانات، بما في ذلك PASCAL وCOCO لاكتشاف الأشياء بعينات قليلة، وPascal3D+ وObjectNet3D لتقدير وجهات النظر بعينات قليلة. بالإضافة إلى ذلك، عندما تكون النموذج الثلاثي الأبعاد غير متاح، نقدم طريقة بسيطة للتقدير غير المرتبط بالفئة لتوقع وجهة النظر باستغلال التشابه الهندسي والتصنيف الثابت للوضعيات عبر فئات مختلفة. رغم أنه يقلل من الأداء بشكل معتدل، إلا أن هذه الطريقة ما زالت تحصل على نتائج أفضل من الطرق السابقة في هذا الإعداد. أخيرًا، ولأول مرة، نواجه الجمع بين كلا المهمتين ذوات العينات القليلة على ثلاثة مقاييس صعبة لتوقع وجهة النظر في البيئة الحقيقية (في البرية)، وهي ObjectNet3D وPascal3D+ وPix3D، مما يظهر نتائج جدًا واعدة.