الرؤية الروبوتية والتناغم متعدد الزوايا: التعرف على الإجراءات والأنشطة في سيناريوهات الحياة المساعدة

تُبرز أهمية التفاعل بين الإنسان والروبوت (HRI) بشكل متزايد عند دمج الروبوتات في البيئات التي تتمحور حول الإنسان. ويشكل التعرف على النشاط البشري (HAR) عنصراً حاسماً في تحقيق تفاعل فعّال بين الإنسان والروبوت، حيث يُمكّن الروبوتات من الاستجابة بشكل مناسب في وجود البشر، خصوصاً في البيئات المُساعدة للحياة في المنزل (AAL). وبما أن الروبوتات عادة ما تكون متحركة، وتتأثر رؤيتها البصرية غالباً بالحركة والضوضاء، تقيّم هذه الورقة طرقاً تُدمج منظور الروبوت المتحرك مع منظور ثابت باستخدام نماذج التعلم العميق متعددة المناظر. ونُقدّم نموذجاً ثنائية التدفق من نوع الت convolutional 3D (C3D) لتحسين دقة التعرف على النشاط البشري القائمة على الرؤية في التطبيقات الروبوتية. باستخدام مجموعة بيانات Robot House Multiview (RHM)، التي تضم منظوراً روبوتياً إلى جانب ثلاث مناظر ثابتة (أمامية، خلفية، علوية)، نُقيّم فعالية النموذج المُقترح، ونُجري مقارنات مع نماذج Dual-Stream ConvNet وSlow-Fast. ويهدف هذا البحث بشكل رئيسي إلى تعزيز دقة منظور الروبوت من خلال دمجه مع المناظر الثابتة باستخدام نماذج ثنائية التدفق. وتشمل مقاييس التقييم الدقة في المرتبة الأولى (Top-1) والدقة في المرتبة الخامسة (Top-5). تُظهر نتائجنا أن دمج المناظر الثابتة مع منظور الروبوت يُعزز بشكل كبير من دقة التعرف على النشاط البشري في كلا المعيارين (Top-1 وTop-5) عبر جميع النماذج التي تم اختبارها. علاوةً على ذلك، تُظهر النموذج الثنائي التدفق المُقترح من نوع C3D أداءً متفوّقاً مقارنةً بالنماذج الحديثة الأخرى في تقييمنا.