يعد اكتشاف التفاعل بين الإنسان والكائن (HOI) في صميم فهم الأفعال. بالإضافة إلى المعلومات ثنائية الأبعاد مثل مظهر الإنسان/الكائن ومواقعهما، يتم أيضًا استخدام الوضع ثلاثي الأبعاد في تعلم HOI نظرًا لاستقلاليته عن الزاوية. ومع ذلك، فإن المفاصل ثلاثية الأبعاد الخشنة تحمل فقط معلومات جسدية متفرقة ولا تكفي لفهم التفاعلات المعقدة. لذلك، نحتاج إلى شكل جسدي ثلاثي الأبعاد مفصل للتقدم أكثر. في الوقت نفسه، لم يتم دراسة الكائنات التفاعلية ثلاثية الأبعاد بشكل كامل في تعلم HOI. بناءً على هذه النقاط، نقترح طريقة تعلم تمثيل مشترك مفصل بين 2D و3D. أولاً، نستخدم طريقة التقاط الجسم البشري من زاوية واحدة للحصول على أشكال جسدية ووجهية ويدي دقيقة ثلاثية الأبعاد. ثانياً، نقدر موقع الكائن وحجمه الثلاثي الأبعاد بمرجع إلى التكوين المكاني ثنائي الأبعاد بين الإنسان والكائن وأولويات فئات الكائنات. أخيرًا، تم اقتراح إطار عمل تعلم مشترك ومهمات توافق متعدد الوسائط لتعلم التمثيل المشترك لـ HOI. لتقييم قدرة النماذج على معالجة الغموض ثنائي الأبعاد بشكل أفضل، نقترح مقاييس جديدة باسم Ambiguous-HOI تتكون من صور غامضة صعبة. تظهر التجارب الواسعة في مقاييس HOI ذات الحجم الكبير وفي Ambiguous-HOI فعالية ملحوظة لطريقتنا. يمكن الحصول على الرمز والمعلومات من https://github.com/DirtyHarryLYL/DJ-RN.