SceneFun3Dは、Voxel51が2024年に公開した3Dシーンの機能的インタラクションデータセットです。ハンドル、ノブ、スイッチなどの小さなインタラクティブなパーツのきめ細かな理解に焦点を当てており、パーツの位置特定、ギブソン式機能推論、モーションパラメータ推定、自然言語によるタスク記述などを網羅しています。関連する研究論文は「SceneFun3D」というタイトルで公開されています。 3Dシーンにおけるきめ細かな機能性とアフォーダンスの理解 。 このデータセットは、710の高解像度実世界屋内シーンで構成され、14,867の機能的インタラクション要素の注釈、9つの機能カテゴリ、14,279のモーションパラメータ、および10,913を超える自然言語タスク指示が含まれています。高解像度のFaroレーザースキャン点群とiPadビデオシーケンスに基づいて構築されたこのデータセットは、545シーンのトレーニングセット、80シーンの検証セット、および85シーンのテストセットに分割されています。このバージョンでは、各カテゴリから10シーンをサンプリングしてベンチマークテストセットとして使用します。テストセット内の機能注釈は非表示になっています。

データセットの構成:

• シーンのグループ化：データセットはグループ化されたデータセット構造を採用しており、各グループはvisit_idで識別される独立したシーンに対応しています。
• 3D点群データ：ダウンサンプリング（5mmボクセル）されたFAROレーザースキャン点群データを提供します。これには、機能的なインタラクティブ要素の注釈、ARKitの部屋レベルのオブジェクト境界ボックス、およびタスクの説明が含まれます。
• ビデオシーケンスデータ：各シーンには、iPad Proで録画された2～3本の高解像度RGBビデオシーケンス（解像度1920×1440、約10FPS）が付属しており、フレームごとの深度マップ、カメラの姿勢、および内部パラメータも含まれています。

データフィールド:

• レーザースキャンスライス: functional_elements (3D機能要素検出ボックスと属性)、objects_3d (ARKitオブジェクトボックス)、およびtasks (自然言語タスクリスト)が含まれます。
• ipad_N スライス: フレームごとの深度 (深度ヒートマップ)、内部パラメータ (カメラの内部パラメータ)、カメラポーズ (カメラの姿勢)、および投影された要素/投影されたオブジェクト (2D フレーム内の 3D 要素/オブジェクトの投影されたバウンディング ボックスとキーポイント) が含まれます。
• 機能要素の属性：各3D検出ボックスには、ラベル（9つの機能カテゴリ）、モーションタイプ（並進/回転）、モーション方向（動作方向）、モーション原点（動作原点）、および説明（タスク指示）が含まれます。

引用

@inproceedings{delitzas2024scenefun3d,
title={{SceneFun3D: Fine-Grained Functionality and Affordance Understanding in 3D Scenes}},
author={Delitzas, Alexandros and Takmaz, Ayca and Tombari, Federico and Sumner, Robert and Pollefeys, Marc and Engelmann, Francis},
booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2024}
}