ClearGrasp: تقدير الشكل ثلاثي الأبعاد للأجسام الشفافة للمناولة

الأشياء الشفافة هي جزء شائع من الحياة اليومية، ومع ذلك تتمتع بخصائص بصرية فريدة تجعلها صعبة للغاية على أجهزة الاستشعار ثلاثية الأبعاد القياسية لإنتاج تقديرات عمق دقيقة لها. في العديد من الحالات، غالباً ما تظهر كتقديرات ضوضائية أو مشوهة للأسطح التي تقع خلفها. لمعالجة هذه التحديات، نقدم ClearGrasp -- وهو نهج يستند إلى التعلم العميق لتقدير الهندسة ثلاثية الأبعاد الدقيقة للأشياء الشفافة من صورة واحدة RGB-D لغرض التلاعب الروبوتي. بناءً على صورة واحدة RGB-D للأشياء الشفافة، يستخدم ClearGrasp شبكات ديناميكية عميقة لاستنتاج المتجهات الطبيعية للأسطح، وأقنعة الأسطح الشفافة، وحدود الإخفاء. ثم يستخدم هذه النواتج لتحسين تقديرات العمق الأولية لكافة الأسطح الشفافة في المشهد. لتدريب واختبار ClearGrasp، قمنا ببناء مجموعة بيانات مصنوعة كبيرة تتضمن أكثر من 50,000 صورة RGB-D، بالإضافة إلى معيار اختبار حقيقي يتكون من 286 صورة RGB-D للأجسام الشفافة وهندستها الحقيقية (ground truth). تظهر التجارب أن ClearGrasp أفضل بكثير من أسس تقدير العمق الأحادي البؤرة وأنه قادر على التعميم إلى الصور الحقيقية والأجسام الجديدة. كما نوضح أن ClearGrasp يمكن تطبيقه مباشرة لتحسين أداء خوارزميات القبض على الأجسام الشفافة. سيتم إصدار الكود والبيانات والمعياريات. المواد الإضافية متاحة على موقع المشروع: https://sites.google.com/view/cleargrasp