in2IN: الاستفادة من المعلومات الفردية لتوليد التفاعلات البشرية

تُعدّ توليد التفاعلات الحركية بين البشر بناءً على وصف نصي تطبيقًا مفيدًا جدًا في مجالات متعددة مثل الروبوتات، والألعاب، والتحريك، وعالم الميتافيرس. ومع هذه الفائدة الكبيرة، تأتي صعوبة كبيرة في نمذجة الديناميكيات بين الأشخاص ذات الأبعاد العالية. علاوةً على ذلك، يواجه التمثيل الدقيق لتنوع التفاعلات داخل الفرد (الداخلية) تحديات كبيرة. تُولّد الطرق الحالية تفاعلات ذات تنوع محدود في الديناميكيات الداخلية، نظرًا لقيود البيانات المتاحة واستراتيجيات التوجيه المستخدمة. ولحل هذه المشكلة، نقدّم نموذجًا جديدًا يُسمّى in2IN، وهو نموذج تمايز (Diffusion Model) مُخصص لتوليد الحركات بين البشر، يُوجَّه ليس فقط بالوصف النصي العام للتفاعل، بل أيضًا بالوصف الفردي للحركات التي يقوم بها كل شخص مشارك في التفاعل. لتدريب هذا النموذج، نستخدم نموذج لغة كبير (Large Language Model) لتوسيع مجموعة بيانات InterHuman بإضافة وصفات فردية. وبذلك، يحقق in2IN أداءً متفوقًا على مستوى الحالة الحالية (State-of-the-art) في مجموعة بيانات InterHuman. بالإضافة إلى ذلك، لزيادة تنوع الحركات الفردية في المجموعات الحالية للتفاعلات، نقترح DualMDM، وهي تقنية تكوين نماذج تدمج الحركات التي يولدها in2IN مع الحركات التي يولدها نموذج أولي لحركة فردية تم تدريبه مسبقًا على مجموعة بيانات HumanML3D. وبذلك، يُولّد DualMDM حركات ذات تنوع فردي أعلى، ويُحسّن التحكم في الديناميكيات الداخلية، مع الحفاظ على التماسك بين الأشخاص.