على الرغم من القدرة الكبيرة التي تُظهرها النماذج الكبيرة متعددة الوسائط (MLLMs) على تحقيق تفاعلات تشبه التفاعل البشري حقًا، إلا أن التقدم في هذا المجال يواجه عقبات ناتجة عن غياب أطر تقييم دقيقة للسيناريوهات التي تركز على الإنسان، والتي تشمل فهم النوايا البشرية المعقدة وتوفير ردود فعل إنسانية واعية بالسياق. في هذا العمل، نقدم "HumanSense"، وهي معيار شامل مصمم لتقييم قدرات النماذج متعددة الوسائط على الفهم والتفاعل من منظور إنساني، مع التركيز بشكل خاص على الفهم العميق للسياقات متعددة الوسائط الممتدة وصياغة ردود فعل منطقية. تُظهر نتائج تقييمنا أن النماذج الرائدة من نوع MLLMs لا تزال بحاجة إلى تحسين كبير، خاصةً في المهام المتقدمة التي تركز على التفاعل. كما نلاحظ أن دمج المعلومات الصوتية والنصية مع المدخلات البصرية يؤدي إلى تحسينات كبيرة، وأن النماذج متعددة الوسائط (Omni-modal) تُظهر ميزة واضحة في هذه المهام، وذلك استنادًا إلى ملاحظة أن الردود المناسبة تنبثق من تحليل سياقي لاحتياجات ومشاعر المُشارِك في الحوار. وبناءً على ذلك، نقترح أن القدرة على الاستدلال تُعد المحرك الأساسي لتفعيل هذه الردود. ولتحقيق ذلك، طوّرنا منهجًا متعدد المراحل يعتمد على التعلم المعزز التدريجي حسب الوسائط، مما أدى إلى إنشاء "HumanSense-Omni-Reasoning"، الذي عزز بشكل ملحوظ الأداء في المهام ذات المستوى الأعلى من الفهم والتفاعل. علاوةً على ذلك، لاحظنا أن العمليات الناجحة في الاستدلال تبدو أنها تتبع أنماطًا تفكيرية متسقة.