SceneFun3D는 Voxel51에서 2024년에 공개한 3D 장면 기능 상호작용 데이터셋입니다. 이 데이터셋은 손잡이, 노브, 스위치와 같은 작은 상호작용 부품에 대한 세밀한 이해에 초점을 맞추고 있으며, 부품 위치 파악, 깁슨식 기능 추론, 모션 파라미터 추정, 자연어 기반 작업 설명 등을 다룹니다. 관련 연구 논문은 "SceneFun3D"라는 제목으로 출판되었습니다. 3D 장면에서의 세밀한 기능 및 사용 가능성 이해 . 이 데이터셋은 710개의 고해상도 실제 실내 장면으로 구성되어 있으며, 14,867개의 기능적 상호작용 요소 주석, 9개의 기능 범주, 14,279개의 동작 매개변수, 그리고 10,913개 이상의 자연어 작업 지시문을 포함합니다. 고해상도 Faro 레이저 스캐닝 포인트 클라우드와 iPad 비디오 시퀀스를 기반으로 구축된 이 데이터셋은 545개의 장면으로 이루어진 학습 세트, 80개의 장면으로 이루어진 검증 세트, 그리고 85개의 장면으로 이루어진 테스트 세트로 구성됩니다. 이 버전에서는 각 범주에서 10개의 장면을 벤치마크 테스트 세트로 샘플링했으며, 테스트 세트의 기능 주석은 숨겨져 있습니다.

데이터셋 구성:

• 장면 그룹화: 데이터셋은 그룹화된 데이터셋 구조를 채택하고 있으며, 각 그룹은 visit_id로 식별되는 독립적인 장면에 해당합니다.
• 3D 포인트 클라우드 데이터: 다운샘플링된(5mm 복셀) FARO 레이저 스캔 포인트 클라우드를 제공하며, 여기에는 기능적 상호작용 요소에 대한 주석, ARKit 룸 레벨 객체 경계 상자 및 작업 설명이 포함됩니다.
• 비디오 시퀀스 데이터: 각 장면에는 iPad Pro로 녹화된 2~3개의 고해상도 RGB 비디오 시퀀스(1920 x 1440 해상도, 초당 약 10프레임)가 함께 제공되며, 여기에는 프레임별 심도 맵, 카메라 포즈 및 내부 매개변수도 포함됩니다.

데이터 필드:

• 레이저 스캔 슬라이스: functional_elements(3D 기능 요소 감지 상자 및 속성), objects_3d(ARKit 객체 상자) 및 tasks(자연어 작업 목록)를 포함합니다.
• ipad_N 슬라이스: 프레임별 깊이 정보(깊이 히트맵), 카메라 내부 정보, 카메라 포즈, 그리고 투영된 요소/객체 정보(2D 프레임에 투영된 3D 요소/객체의 경계 상자 및 키포인트)를 포함합니다.
• 기능 요소 속성: 각 3D 감지 상자에는 레이블(9가지 기능 범주), motion_type(이동/회전), motion_dir(움직임 방향), motion_origin(움직임 시작점) 및 설명(작업 지침)이 포함됩니다.

소환

@inproceedings{delitzas2024scenefun3d,
title={{SceneFun3D: Fine-Grained Functionality and Affordance Understanding in 3D Scenes}},
author={Delitzas, Alexandros and Takmaz, Ayca and Tombari, Federico and Sumner, Robert and Pollefeys, Marc and Engelmann, Francis},
booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2024}
}