SA-V: تقوم Meta ببناء أكبر مجموعة بيانات لتجزئة الفيديو

* هذه المجموعة من البيانات تدعم الاستخدام عبر الإنترنت.انقر هنا للقفز.

مجموعة بيانات SA-V عبارة عن مجموعة بيانات تجزئة فيديو واسعة النطاق تم إنشاؤها بواسطة Meta في عام 2024. يتم استخدامها لتدريب وتقييم Meta Segment Anything Model 2 (SAM 2 للاختصار). تعتبر مجموعة البيانات هذه كبيرة جدًا من حيث الحجم والتنوع، حيث تحتوي على حوالي 51000 مقطع فيديو من العالم الحقيقي و643 ألف تعليق توضيحي مكاني زمني، وهو أكبر حجمًا بحوالي 50 مرة من مجموعات البيانات المماثلة الأخرى.

تم إنشاء مجموعة بيانات SA-V باستخدام عملية تكرارية حيث يقوم المعلقون بتعليق عناصر القناع بشكل تفاعلي في مقاطع الفيديو باستخدام نموذج SAM 2، ثم يتم استخدام هذه البيانات المعلقة حديثًا لتحديث نموذج SAM 2 وتدريبه. لا يؤدي هذا النهج إلى تحسين كفاءة جمع البيانات فحسب، بل يساعد أيضًا في بناء مجموعة بيانات أكثر دقة وتنوعًا.

بالإضافة إلى ذلك، تأتي مقاطع الفيديو في مجموعة بيانات SA-V من 47 دولة مختلفة، وتغطي مناطق جغرافية متنوعة ومشاهد من العالم الحقيقي، مما يوفر محتوى مرئيًا غنيًا للنموذج للتعلم والتعميم. تتضمن التعليقات التوضيحية في مجموعة البيانات ليس فقط الكائنات بأكملها، بل أيضًا أجزاء من الكائنات، مثل قبعة الشخص، بالإضافة إلى الحالات الصعبة عندما تكون الكائنات مخفية، ثم تختفي، ثم تظهر مرة أخرى.

إن إصدار هذه المجموعة من البيانات، إلى جانب المصدر المفتوح لنموذج SAM 2، يوفر للباحثين والمطورين أدوات قوية لاستكشاف التطبيقات والابتكارات الجديدة في مجالات مثل تحرير الفيديو، والواقع المختلط، والروبوتات، والقيادة الذاتية، وفهم محتوى الفيديو.

بنية مجموعة البيانات

- تقسيم التدريب: يتم ترميز الفيديو بصيغة MP4، كل ملف حجمه حوالي 8 جيجابايت، sav_000.tar – sav_055.tar. توجد أقنعة صغيرة بتنسيق ترميز طول التشغيل COCO (RLE) (قائمة من القوائم)، حيث يتم وضع القائمة الخارجية فوق إطارات الفيديو.

- تقسيم Val/Test: إطارات الفيديو بتنسيق JPEG، ويبلغ حجم كل ملف حوالي 16 جيجابايت، sav_val.tar وsav_test.tar. تتوفر Masklets بتنسيق PNG.