SO-Pose: استغلال الاختباء الذاتي لتقدير الوضعية الستية المباشرة

إعادة التقدير المباشر لجميع درجات الحرية الستة (6DoF) لوضعية الجسم (مثل الدوران والانتقال الثلاثي الأبعاد) في بيئة مزدحمة من صورة RGB واحدة تمثل مشكلة صعبة. وعلى الرغم من أن الطرق النهائية (end-to-end) قد أظهرت مؤخرًا نتائج واعدة من حيث الكفاءة العالية، إلا أنها ما زالت تفتقِر إلى الدقة في وضعية الجسم مقارنة بالطرق المعتمدة على P$n$P/RANSAC المعقدة. في هذا العمل، نعالج هذه النقطة الضعيفة من خلال مُبرّر جديد يعتمد على التفكير في الظل الذاتي (self-occlusion)، بهدف إقامة تمثيل ثنائي الطبقات للأشياء ثلاثية الأبعاد، مما يُعزز بشكل كبير دقة التقدير الستي للوضعية (6D pose) في الطرق النهائية. يُسمّى إطارنا العملي SO-Pose، ويأخذ صورة RGB واحدة كمدخل، ويُولِّد على التوالي تطابقات ثنائية الأبعاد مع ثلاثية الأبعاد، بالإضافة إلى معلومات الظل الذاتي، باستخدام مشفر مشترك ومحولات منفصلة. ثم يتم دمج كلا المخرجين لاستنتاج مباشرة لمعاملات الوضعية الستية (6DoF). وباستخدام التوافق بين الطبقات الذي يُنسق بين التطابقات، والظل الذاتي، والوضعية الستية، يمكننا تحسين الدقة والثبات بشكل إضافي، مما يفوق أو يتساوى مع جميع الطرق المتطورة الأخرى على مجموعة متنوعة من مجموعات البيانات الصعبة.