FFB6D: شبكة اندماج ثنائي الاتجاه بالتدفق الكامل لتقدير الوضعية الستة أبعاد

في هذا العمل، نقدم FFB6D، وهي شبكة تكامل ثنائي الاتجاه بالتدفق الكامل مصممة لتقدير الوضع الستي بُعْدِي (6D) من صورة RGBD واحدة. يكمن رؤيتنا الأساسية في أن معلومات المظهر في الصورة RGB وبيانات الهندسة المستمدة من الصورة العمقية تمثلان مصدرين متكاملين، ولا يزال غير مفهوم بالكامل كيفية الاستفادة الكاملة من كليهما. وبهدف تحقيق ذلك، نقترح FFB6D، التي تتعلم دمج معلومات المظهر والهندسة لغرض التعلم التمثيلي واختيار تمثيل المخرجات. بشكل خاص، في مرحلة تعلم التمثيل، نُنشئ وحدات تكامل ثنائية الاتجاه في التدفق الكامل للشبكتين، حيث يتم تطبيق التكامل على كل طبقة ترميز وفك ترميز. وبهذا الشكل، يمكن للشبكتين الاستفادة من المعلومات المكملة المحلية والعالمية من الأخرى للحصول على تمثيلات أفضل. علاوة على ذلك، في مرحلة تمثيل المخرجات، صممنا خوارزمية بسيطة ولكن فعالة لاختيار النقاط الثلاثية الأبعاد، مع أخذ بعين الاعتبار معلومات النسيج والهندسة للأجسام، مما يبسط عملية تحديد مواقع النقاط لتقدير دقيق للوضع. تُظهر النتائج التجريبية أن طريقة我们的 تفوق الأفضل في المجال الحالي بفارق كبير على عدة معايير معيارية. يمكن الوصول إلى الكود والفيديو عبر الرابط: \url{https://github.com/ethnhe/FFB6D.git}.