EgoExoLearn: مجموعة بيانات لربط وجهات النظر الذاتية والخارجية غير المتزامنة لأنشطة الإجراءات في العالم الحقيقي

القدرة على رسم خرائط لأنشطة الآخرين من وجهة نظر الشخص نفسه هي مهارة بشرية أساسية حتى في سن مبكرة جداً. كخطوة نحو فهم هذه القدرة البشرية، نقدم EgoExoLearn، وهو مجموعة بيانات كبيرة تحاكي عملية اتباع التوضيح البشري، حيث يقوم الأفراد بتسجيل مقاطع الفيديو الذاتية أثناء تنفيذ المهام تحت إرشاد مقاطع الفيديو التوضيحية. مع التركيز على التطبيقات المحتملة في المساعدة اليومية والدعم المهني، يحتوي EgoExoLearn على بيانات الفيديو الذاتي والتوضيحي التي تم التقاطها لمدة 120 ساعة في سياقات الحياة اليومية ومختبرات متخصصة. بالإضافة إلى مقاطع الفيديو، نسجل بيانات النظر عالية الجودة ونقدم توضيحات متعددة الوسائط مفصلة، مما يشكل ساحة للنمذجة القدرة البشرية على ربط الإجراءات غير المتزامنة من وجهات نظر مختلفة. لهذا الغرض، نقدم مقاييس مثل الارتباط بين وجهات النظر (Cross-View Association)، التخطيط للإجراء بين وجهات النظر (Cross-View Action Planning)، وتقييم المهارات المرجعية بين وجهات النظر (Cross-View Referenced Skill Assessment)، مع تحليل مفصل. نتوقع أن يكون EgoExoLearn موردًا مهمًا لربط الإجراءات عبر وجهات النظر، مما يفتح الطريق لإنشاء وكالات ذكاء اصطناعي قادرة على التعلم بسلاسة من خلال مشاهدة البشر في العالم الحقيقي. يمكن العثور على الكود والبيانات في:https://github.com/OpenGVLab/EgoExoLearn