الوضع الهندسي الممكن: وضع الإنسان ثلاثي الأبعاد مع قيود المشهد

التقدير الكامل ثلاثي الأبعاد لموضع الإنسان من صورة واحدة لا يزال مهمة صعبة رغم التقدم الكبير الذي تحقق مؤخرًا. في هذا البحث، نستكشف الفرضية القائلة بأن يمكن استخدام المعلومات الأولية القوية عن هندسة المشهد لتحسين دقة تقدير الموضع. للتعامل مع هذا السؤال بطريقة تجريبية، قمنا بجمع مجموعة بيانات جديدة تحت اسم $\textbf{القابلية الهندسية للموضع}$ (Geometric Pose Affordance)، تتكون من صور متعددة الزوايا لأشخاص يتفاعلون مع بيئات ثلاثية الأبعاد متنوعة وغنية. استخدمنا نظام التقاط الحركة التجاري لتجميع تقديرات ذهبية للموضع وبناء نماذج ثلاثية الأبعاد دقيقة لهندسة المشهد نفسه.لإدخال المعرفة السابقة عن قيود المشهد في الإطارات الموجودة لتقدير الموضع من الصور، نقدم تمثيلًا جديدًا وهندسيًا مستندًا إلى الزاوية للمشهد، وهو $\textbf{خريطة العمق المتعددة الطبقات}$ (multi-layer depth map)، والتي تعتمد على تتبع الأشعة متعدد الاصطدامات لترميز نقاط الدخول والخروج المتعددة على سطح كل اتجاه شعاع كاميرا بشكل موجز. نقترح آليتين مختلفتين لدمج معلومات العمق المتعددة الطبقات في تقدير الموضع: الأولى هي استخدامها كسمات مشفرة للشعاع في رفع الموضع ثنائي الأبعاد إلى كامل ثلاثي الأبعاد، والثانية هي خسارة قابلة للتفرقة تشجع النماذج المستفادة على تفضيل تقديرات الموضع المتوافقة هندسيًا. نظهر تجريبيًا أن هذه التقنيات يمكن أن تحسن دقة تقديرات الموقف الثلاثي الأبعاد، خاصة في وجود الاختفاء والهندسة المعقدة للمشهد.