شبكة علاقات ثابتة للتبديل لتقدير وضعية ثلاثية الأبعاد لعدة أشخاص

استعادة وضعيات ثلاثية الأبعاد لعدة أشخاص من صورة RGB واحدة هي مشكلة شديدة التعقيد بسبب الغموض العمقي بين الأبعاد الثنائية والثلاثية، وحجب الشخصيات المتبادلة، وتقليم الجسم. للتعامل مع هذه القضايا، أظهرت الدراسات الحديثة نتائج واعدة من خلال التفكير المتزامن في الأشخاص المختلفين. ومع ذلك، في معظم الحالات يتم هذا عن طريق النظر فقط إلى التفاعلات الثنائية بين الأشخاص، مما يعوق تمثيل المشهد الشامل قادر على التقاط التفاعلات البعيدة المدى. يتم معالجة هذا الأمر من خلال النهج التي تعالج جميع الأشخاص في المشهد بشكل مشترك، رغم أنها تتطلب تحديد أحد الأفراد كمرجع وترتيب شخص محدد مسبقًا، وهي حساسة لهذا الاختيار. في هذا البحث، نتجاوز هذين الحدّين ونقترح نهجًا لاستعادة وضعيات ثلاثية الأبعاد لعدة أشخاص يلتقط التفاعلات البعيدة المدى بغض النظر عن ترتيب الإدخال. لهذه الغاية، نقوم ببناء شبكة متغيرة الثابت (permutation-invariant) على غرار الشبكات الباقية (residual-like) التي تحسن بنجاح وضعيات ثلاثية الأبعاد الأولية التي تم تقديرها بواسطة كاشف جاهز (off-the-shelf detector). يتم تعلم الدالة الباقية عبر كتل Set Transformer التي تُمثِّل التفاعلات بين جميع الوضعيات الأولية، بغض النظر عن ترتيبها أو عددها. يُظهر تقييم شامل أن نهجنا قادر على زيادة أداء الوضعيات الثلاثية الأولية بمargins كبيرة، مما يجعله يحقق أفضل النتائج في مقاييس المعايير المعيارية. بالإضافة إلى ذلك، يعمل الوحدة المقترحة بطريقة حسابية فعالة ويمكن استخدامها كإضافة محتملة لأي كاشف لوضعيات ثلاثية الأبعاد في مشاهد متعددة الأشخاص.