TransCG: مجموعة بيانات واقعية كبيرة لاستكمال عمق الأشياء الشفافة وخط أساس للإمساك

الأشياء الشفافة شائعة في حياتنا اليومية وتعالج بشكل متكرر في خطوط الإنتاج الآلية. سيكون من المفيد للعمليات الآلية تطوير قبض روبوتي موثوق به ومراقب بالرؤية ومعالجة لهذه الأشياء. ومع ذلك، فإن معظم خوارزميات القبض الحالية تفشل في هذه الحالة نظرًا لاعتمادها الشديد على الصورة العميقة، بينما تفشل أجهزة الاستشعار العميقة العادية عادةً في إنتاج معلومات عمق دقيقة للأجسام الشفافة بسبب انعكاس وانكسار الضوء.في هذا البحث، نعالج هذه المشكلة من خلال تقديم مجموعة بيانات حقيقية كبيرة النطاق لاستكمال عمق الأجسام الشفافة، والتي تحتوي على 57,715 صورة RGB-D من 130 مشهدًا مختلفًا. تعتبر مجموعتنا البيانات أول مجموعة بيانات حقيقية كبيرة النطاق توفر العمق الحقيقي، والNormals السطح (المساحات الطبيعية)، وأقنعة الشفافية في مشاهد متنوعة ومزدحمة. تظهر التجارب عبر المجالات أن مجموعتنا البيانات أكثر عمومية ويمكنها تمكين قدرة تعميم أفضل للنماذج.بالإضافة إلى ذلك، نقترح شبكة استكمال عمق من النهاية إلى النهاية (End-to-End Depth Completion Network)، والتي تأخذ الصورة RGB والخريطة العميقة غير الدقيقة كمدخلات وتنتج خريطة عمق معدلة. تبين التجارب فعالية وكفاءة ومتانة طريقتنا الفائقة على الأعمال السابقة، وهي قادرة على معالجة صور بدقة عالية تحت موارد matériel محدودة (المعدات). تجارب الروبوت الحقيقية تظهر أيضًا أن طريقتنا يمكن تطبيقها بثبات على القبض بالأجسام الشفافة الجديدة.تتوفر مجموعة البيانات الكاملة وطريقتنا بشكل عام على www.graspnet.net/transcg.