مجموعة بيانات التعرف على إجراءات AVA

AVA، واسمها الكامل هو Atomic Visual Actions، عبارة عن مجموعة بيانات فيديو تحتوي على تعليقات صوتية ومرئية مصممة لتدريب الروبوتات على فهم الأنشطة البشرية. يتم شرح كل مقطع فيديو بالتفصيل من قبل المعلقين، مما يعكس المشاهد المتنوعة، وظروف التسجيل، وتعبيرات الأنشطة البشرية.

تتضمن تعليقات مجموعة البيانات ما يلي:

• الحركية (AVA-Kinetics): هي تقاطع بين AVA وKinetics. لتوفير تسميات عمل محلية على مجموعة أوسع من المشاهد المرئية، يقدم المؤلفون تسميات عمل AVA على مقاطع فيديو Kinetics-700، مما يؤدي إلى مضاعفة العدد الإجمالي للشروح وزيادة عدد مقاطع الفيديو لفئات معينة بأكثر من 500 مرة.
• الإجراءات (AvA-Actions): تقوم مجموعة بيانات AVA بشرح 80 إجراءً بصريًا ذريًا بشكل مكثف في 430 مقطع فيديو مدته 15 دقيقة. تقع هذه الإجراءات في المكان والزمان، مما يؤدي إلى توليد 1.62 مليون تسمية إجراء، يتم استخدام عدد كبير منها بشكل متكرر.
• النشاط المنطوق (AVA ActiveSpeaker، AVA Speech): يربط AVA ActiveSpeaker الأصوات والوجوه المرئية في مقاطع فيديو AVA v1.0، مما يؤدي إلى إنشاء 3.65 مليون إطار مُسمَّاة بما يقرب من 39000 وجه. يقوم AVA Speech بشرح نشاط الكلام بشكل مكثف في مقاطع فيديو AVA v1.0 ويشرح بشكل صريح ثلاث حالات ضوضاء خلفية، مما يؤدي إلى إنتاج ما يقرب من 4600 مقطع فيديو موضحًا على مدار 45 ساعة.