تم إصدار مجموعة البيانات بشكل مشترك من قبل مؤسسات رائدة مثل مختبر الذكاء الاصطناعي في شنغهاي، وجامعة نانجينغ، ومعاهد شنتشن للتكنولوجيا المتقدمة التابعة للأكاديمية الصينية للعلوم، والطلاب والباحثين من العديد من الجامعات بما في ذلك جامعة طوكيو، وجامعة فودان، وجامعة تشجيانغ، وجامعة العلوم والتكنولوجيا في الصين. يهدف EgoExoLearn إلى منح الروبوتات القدرة على تعلم أفعال جديدة من خلال مراقبة الآخرين.

ما يميز مجموعة بيانات EgoExoLearn هو أنها تجمع لقطات فيديو من منظور الشخص الأول ومن منظور الشخص الثالث.يسجل مقطع الفيديو من منظور الشخص الأول العملية الكاملة لتعلم الأشخاص لإجراءات العرض التوضيحية من منظور الشخص الثالث. يوفر هذا التحويل والاندماج للمنظور موارد بيانات قيمة للآلات لتقليد أنماط التعلم البشرية.

لا يقتصر نطاق بناء هذه المجموعة من البيانات على تغطية السيناريوهات المختلفة في الحياة اليومية فحسب، بل يشمل أيضًا العمليات المعقدة في المختبرات المهنية. يحتوي EgoExoLearn على إجمالي 120 ساعة من مقاطع الفيديو المنظورية والتوضيحية، بهدف تمكين الآلات من التعلم بشكل فعال في مجموعة متنوعة من البيئات.

بالإضافة إلى مقاطع الفيديو، سجل الباحثون أيضًا بيانات النظرة عالية الجودة وقدموا تعليقات توضيحية متعددة الوسائط مفصلة. تعمل هذه البيانات، جنبًا إلى جنب مع التعليقات التوضيحية، على بناء منصة تحاكي عملية التعلم البشري بشكل شامل، مما يساعد في حل مشكلة النمذجة الآلية لعمليات العمل غير المتزامنة من وجهات نظر مختلفة.

من أجل تقييم قيمة مجموعة بيانات EgoExoLearn بشكل شامل، اقترح الباحثون سلسلة من اختبارات المعايير، مثل الارتباط عبر المنظور، وتخطيط العمل عبر المنظور، وتقييم مهارات المرجع عبر المنظور، وأجروا تحليلًا متعمقًا. وفي المستقبل، سوف يصبح EgoExoLearn حجر الزاوية المهم لربط الإجراءات متعددة المنظورات، وتوفير الدعم القوي للروبوتات لتعلم السلوكيات البشرية بسلاسة في العالم الحقيقي.