CenterSnap: إعادة بناء الشكل ثلاثي الأبعاد لعدة أشياء في تصوير واحد وتقدير الوضعية والحجم الفئوي بستة أبعاد

يقوم هذا البحث بدراسة المهمة المعقدة لإعادة بناء الأشكال ثلاثية الأبعاد، وتقدير الوضعية الستية للأبعاد والحجم لعدة أشياء من خلال ملاحظة واحدة بالصورة الملونة مع عمق (RGB-D). على عكس تقدير الوضعية على مستوى الحالة الفردية، نركز هنا على مشكلة أكثر تحديًا حيث لا تكون نماذج CAD متاحة وقت الاستدلال. تتبع الأساليب الموجودة بشكل أساسي أنابيب عمل متعددة المراحل معقدة، تقوم أولاً بتحديد موقع وكشف كل حالة فردية للأشياء في الصورة ثم التوصل إلى شبكاتها ثلاثية الأبعاد أو وضعياتها الستية للأبعاد. تعاني هذه الأساليب من تكلفة حسابية عالية وأداء ضعيف في السيناريوهات المعقدة التي تتضمن عدة أشياء، حيث يمكن أن تكون هناك إخفاءات. لذلك، نقدم طريقة بسيطة في مرحلة واحدة لتوقع الشكل ثلاثي الأبعاد وتقييم الوضعية الستية للأبعاد والحجم بطريقة خالية من صناديق الحدود. وبشكل خاص، يعالج أسلوبنا حالات الأشياء كمراكز فضائية، حيث يشير كل مركز إلى الشكل الكامل للشيء مع وضعيته الستية للأبعاد وحجمه. من خلال هذا التمثيل لكل بكسل، يمكن لأسلوبنا إعادة بناء العديد من حالات الأشياء الجديدة في الوقت الحقيقي (40 إطارًا في الثانية) وتوقع وضعياتها الستية والأحجام في عملية تمرير واحدة فقط. ومن خلال التجارب الواسعة، نثبت أن أسلوبنا يتفوق بشكل كبير على جميع خطوط الأساس لإكمال الشكل وتقييم الوضعية الستية للأبعاد والحجم على مستوى الفئات في مجموعتي بيانات ShapeNet وNOCS على التوالي، بمعدل تحسن مطلق قدره 12.6% في mAP لتقدير الوضعية الستية للأبعاد لحالات الأشياء الحقيقية الجديدة.