إعادة بناء الإنسان والكائن ثلاثي الأبعاد عبر التحسين القائم على الاتصال ترانسفورمر

الاتصال بين الإنسان والكائن يُعد مؤشراً قوياً لفهم كيفية التفاعل الجسدي للإنسان مع الأشياء. ومع ذلك، لم يتم استكشاف استخدام معلومات الاتصال بين الإنسان والكائن بشكل واسع لتحقيق إعادة بناء ثلاثية الأبعاد مشتركة للإنسان والكائن من صورة واحدة. في هذا العمل، نقدم طريقة جديدة لإعادة بناء الإنسان والكائن ثلاثي الأبعاد بشكل مشترك (CONTHO) تستخدم بكفاءة معلومات الاتصال بين الإنسان والكائن. يتضمن نظامنا تصميمين أساسيين: 1) تقدير الاتصال بمساعدة ثلاثية الأبعاد، و2) تحسين الإنسان والكائن ثلاثي الأبعاد على أساس الاتصال. أولاً، لتقدير الاتصال بين الإنسان والكائن بدقة، تقوم CONTHO بإعادة بناء الإنسان والكائن ثلاثي الأبعاد في البداية واستخدامها كدليل ثلاثي الأبعاد واضح لتقدير الاتصال. ثانياً، لتحسين إعادة بناء الإنسان والكائن ثلاثي الأبعاد الأولية، نقترح محول تحسين جديد يستند إلى الاتصال يقوم بدمج الخصائص البشرية وخواص الكائن بشكل فعال بناءً على تقدير اتصال الإنسان بالكائن. يمنع التحسين المستند إلى الاتصال المقترح تعلم علاقة خاطئة بين الإنسان والكائن، مما يتيح إعادة بناء ثلاثية الأبعاد دقيقة. نتيجة لذلك، تحقق CONTHO أفضل أداء في كل من تقدير اتصال الإنسان بالكائن وإعادة بناء الإنسان والكائن ثلاثي الأبعاد بشكل مشترك. الرمز متاح علنياً على الرابط https://github.com/dqj5182/CONTHO_RELEASE.