SceneFun3D هي مجموعة بيانات تفاعلية وظيفية للمشاهد ثلاثية الأبعاد، أصدرتها شركة Voxel51 عام 2024. تركز هذه المجموعة على فهم دقيق للأجزاء التفاعلية الصغيرة (مثل المقابض والأزرار والمفاتيح)، وتغطي تحديد مواقع الأجزاء، والاستدلال الوظيفي الجيبسوني، وتقدير معلمات الحركة، ووصف المهام باللغة الطبيعية. وقد نُشرت أبحاث ذات صلة تحت عنوان "SceneFun3D". فهم دقيق للوظائف والإمكانيات في المشاهد ثلاثية الأبعاد . تتضمن هذه المجموعة من البيانات 710 مشاهد داخلية واقعية عالية الدقة، تحتوي على 14867 تعليقًا توضيحيًا لعناصر التفاعل الوظيفية، و9 فئات وظيفية، و14279 مُعامل حركة، وأكثر من 10913 تعليمات مهام بلغة طبيعية. تم بناء هذه المجموعة على سحب نقاط مسح ليزري عالية الدقة من جهاز Faro ومقاطع فيديو من جهاز iPad، وهي مقسمة إلى مجموعة تدريب تضم 545 مشهدًا، ومجموعة تحقق تضم 80 مشهدًا، ومجموعة اختبار تضم 85 مشهدًا. في هذه النسخة، تم اختيار 10 مشاهد من كل فئة كمجموعة اختبار مرجعية؛ وتم إخفاء التعليقات التوضيحية الوظيفية في مجموعة الاختبار.

تكوين مجموعة البيانات:

• تجميع المشاهد: تعتمد مجموعة البيانات على بنية مجموعة بيانات مجمعة، حيث تتوافق كل مجموعة مع مشهد مستقل، يتم تحديده بواسطة visit_id.
• بيانات السحابة النقطية ثلاثية الأبعاد: توفر سحابة نقاط مسح ليزر FARO منخفضة الدقة (5 مم فوكسل)، بما في ذلك التعليقات التوضيحية للعناصر التفاعلية الوظيفية، ومربعات تحديد الكائنات على مستوى الغرفة في ARKit، ووصف المهام.
• بيانات تسلسل الفيديو: كل مشهد مصحوب بـ 2-3 تسلسلات فيديو RGB عالية الدقة (دقة 1920 × 1440، حوالي 10 إطارات في الثانية) مسجلة على جهاز iPad Pro، والتي تتضمن أيضًا خرائط العمق إطارًا بإطار، ووضعيات الكاميرا، والمعلمات الجوهرية.

حقول البيانات:

• شرائح المسح بالليزر: تحتوي على عناصر وظيفية (مربعات وخصائص الكشف عن العناصر الوظيفية ثلاثية الأبعاد)، وكائنات ثلاثية الأبعاد (مربعات كائنات ARKit)، ومهام (قائمة مهام اللغة الطبيعية).
• شريحة ipad_N: تحتوي على عمق الإطار تلو الآخر (خريطة حرارية للعمق)، والخصائص الجوهرية (الخصائص الجوهرية للكاميرا)، ووضع الكاميرا (وضع الكاميرا)، والعناصر/الكائنات المسقطة (المربعات المحيطة المسقطة والنقاط الرئيسية للعناصر/الكائنات ثلاثية الأبعاد في الإطارات ثنائية الأبعاد).
• سمات العنصر الوظيفي: يحتوي كل مربع كشف ثلاثي الأبعاد على تسمية (9 فئات وظيفية)، ونوع الحركة (انتقال/دوران)، واتجاه الحركة (اتجاه الحركة)، وأصل الحركة (أصل الحركة)، والأوصاف (تعليمات المهمة).

الاستشهاد

@inproceedings{delitzas2024scenefun3d,
title={{SceneFun3D: Fine-Grained Functionality and Affordance Understanding in 3D Scenes}},
author={Delitzas, Alexandros and Takmaz, Ayca and Tombari, Federico and Sumner, Robert and Pollefeys, Marc and Engelmann, Francis},
booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2024}
}