EFM3D：3Dエゴセントリック基盤モデルへの進展を測定するためのベンチマーク

ウェアラブルコンピュータの登場により、AIにエゴセントリックセンサデータに埋め込まれた新たなコンテキスト源が可能となった。この新たなエゴセントリックデータは、細粒度の3D位置情報を持つため、3D空間に基づく新しい種類の空間基盤モデル（spatial foundation models）の開発に向けた機会を提供している。本研究で「エゴセントリック基盤モデル（Egocentric Foundation Models, EFMs）」と呼ぶ分野における進展を測定するために、2つの核心的な3Dエゴセントリック認識タスクを備えたベンチマーク「EFM3D」を構築した。EFM3Dは、Project Ariaの高品質なアノテーション付きエゴセントリックデータを用いた、3Dオブジェクト検出および表面回帰に関する初のベンチマークである。本研究では、3D EFMsのベースラインとして「エゴセントリックボクセルリフティング（Egocentric Voxel Lifting, EVL）」を提案する。EVLは利用可能なすべてのエゴセントリックモダリティを活用し、2D基盤モデルから得られる基礎的な能力を継承している。このモデルは大規模なシミュレートデータ上で訓練された結果、EFM3Dベンチマークにおいて既存手法を上回る性能を達成した。