توسيع رؤية الأنا: مجموعة بيانات EPIC-KITCHENS

الرؤية من وجهة نظر الشخص الأول تكتسب اهتمامًا متزايدًا حيث أنها توفر وجهة نظر فريدة على تفاعل الأشخاص مع الأشياء، وانتباههم وحتى نواياهم. ومع ذلك، كان التقدم في هذا المجال الصعب بطيئًا نسبيًا بسبب نقص المجموعات البيانات الكافية بالحجم الكبير. في هذه الورقة البحثية، نقدم EPIC-KITCHENS، وهو معيار الفيديو من وجهة نظر الشخص الأول على نطاق كبير تم تسجيله بواسطة 32 مشاركًا في بيئات المطابخ الخاصة بهم. تتضمن مقاطع الفيديو لدينا أنشطة يومية غير مكتوبة: لقد طلبنا ببساطة من كل مشارك بدء التسجيل كل مرة يدخل فيها إلى مطبخه. جرى التسجيل في 4 مدن (في أمريكا الشمالية وأوروبا) من قبل مشاركين ينتمون إلى 10 جنسيات مختلفة، مما أدى إلى تنوع كبير في أساليب الطهي. يتضمن مجموعة البيانات لدينا 55 ساعة من الفيديو تتكون من 11.5 مليون إطار، والتي قمنا بتسميتها بكثافة لتشمل إجمالي 39.6 ألف قطعة عمل و454.3 ألف صندوق تحديد للأشياء. تعتبر تسمياتنا فريدة من نوعها لأننا طلبنا من المشاركين سرد مقاطع الفيديو الخاصة بهم (بعد التسجيل)، مما يعكس النوايا الحقيقية، وقد استخدمنا هذه السردات كمصادر لمجموعة الحقائق التي حصلنا عليها عن طريق الجماهير (Crowd-sourced). نصفي تحديات الأشياء والعمل والتنبؤ التي نواجهها، ونقيم عدة نقاط أساسية على تقسيمين اختباريين، وهما المطابخ المعروفة والمطابخ غير المعروفة. صفحة مجموعة البيانات وموقع المشروع: http://epic-kitchens.github.io