إعادة التفكير في اكتشاف الأشياء البارزة باستخدام الصور ثلاثية الأبعاد الملونة: النماذج، مجموعات البيانات، والمعايير الكبيرة الحجم

استخدام معلومات RGB-D لاكتشاف الأشياء البارزة قد تم استكشافه بشكل واسع في السنوات الأخيرة. ومع ذلك، فقد تم توجيه جهود نسبية قليلة نحو نمذجة اكتشاف الأشياء البارزة في مشاهد الأنشطة البشرية الحقيقية باستخدام RGBD. في هذا العمل، نسد هذه الفجوة من خلال تقديم المساهمات التالية لاكتشاف الأشياء البارزة باستخدام RGB-D:جمعنا بعناية مجموعة بيانات جديدة تسمى SIP (اكتشاف الشخص البارز)، والتي تتكون من حوالي 1000 صورة بدقة عالية تغطي مشاهد حقيقية متنوعة من وجهات نظر مختلفة، وأوضاع، وإخفاءات، وضوء، وخلفيات.أجرينا معيارًا على نطاق واسع (وحتى الآن الأكثر شمولية) للمقارنة بين الأساليب المعاصرة، وهو ما كان يفتقر إليه المجال لفترة طويلة ويمكن أن يخدم كأساس للبحوث المستقبلية. لقد رصدنا بشكل منهجي 32 نموذجًا شائعًا وتقيمنا 18 جزءًا من هذه النماذج على سبع مجموعات بيانات تحتوي مجتمعة على حوالي 97 ألف صورة.اقترحنا هندسة عامة بسيطة تُعرف بشبكة العمق العميقة للتخلص من الشوائب (D3Net). تتكون هذه الشبكة من وحدة التخلص من الشوائب العميقة (DDU) ومنodule تعلم السمات ثلاثي التيار (FLM)، التي تقوم بتصفية الخرائط العميقة ذات الجودة المنخفضة وتعلم السمات عبر الأنظمة المتعددة على التوالي. تشكل هذه المكونات هيكلًا متداخلًا وهي مصممة بعناية لتتعلم معًا بشكل مشترك. يتفوق D3Net على أداء أي من المنافسين السابقين في جميع الخمس مقاييس المدروسة، مما يجعله نموذجًا قويًا لدفع البحث في هذا المجال. كما نوضح أيضًا أن D3Net يمكن استخدامها لاستخراج أقنعة الأشياء البارزة بكفاءة من المشاهد الحقيقية، مما يمكن التطبيق الفعال لتغيير الخلفية بمعدل سرعة يصل إلى 65 إطارًا في الثانية على معالج رسومي واحد.جميع خرائط البارزة ومجموعة البيانات الجديدة SIP والنموذج D3Net وأدوات التقييم متاحة للجمهور على الرابط التالي: https://github.com/DengPingFan/D3NetBenchmark.