تمكين الشخصيات الافتراضية من الرد بشكل ديناميكي وواقعي على محفزات سمعية متنوعة يظل تحديًا رئيسيًا في مجال تنشيط الشخصيات، حيث يتطلب هذا التحدي دمج نماذج الإدراك وإنتاج الحركة. رغم أهميته، فإن هذه المهمة لا تزال محدودة الاستكشاف. فقد ركزت معظم الأعمال السابقة بشكل أساسي على رسم خرائط للوسائط مثل الكلام والصوت والموسيقى لإنتاج حركات بشرية. حتى الآن، غالبًا ما تغفل هذه النماذج عن تأثير الخصائص المكانية المشفرة في إشارات الصوت المكاني على الحركة البشرية. لسد هذه الفجوة وتوفير نمذجة عالية الجودة للحركات البشرية استجابةً للصوت المكاني، نقدم أول مجموعة بيانات شاملة مدفوعة بالصوت المكاني (Spatial Audio-Driven Human Motion - SAM)، والتي تحتوي على بيانات صوتية مكانية ومovement ذات جودة عالية ومتنوعة. لأغراض المعايرة، طورنا إطارًا بسيطًا ومعتدل الأداء يستند إلى الانتشار لإنتاج الحركة البشرية مدفوعة بالصوت المكاني (Human Motion Generation Driven by Spatial Audio - MOSPA)، والذي يلتقط العلاقة بين حركة الجسم والصوت المكاني بدقة من خلال آلية دمج فعالة. بمجرد التدريب، يمكن لمجموعة البيانات MOSPA إنتاج حركات بشرية واقعية ومتنوعة مشروطة بإدخالات الصوت المكاني المتغيرة. قمنا بإجراء تحقيق شامل في مجموعة البيانات المقترحة وأجرينا تجارب واسعة النطاق للمعايرة، حيث حققت طريقتنا أداءً متقدمًا على هذا النوع من المهام. سيتم توفير كود نموذجنا ومجموعة البيانات مفتوحة المصدر عند القبول. يرجى الرجوع إلى الفيديو التكميلي الخاص بنا للمزيد من التفاصيل.