HyperAIHyperAI

Command Palette

Search for a command to run...

EFM3D:3Dエゴセントリック基盤モデルへの進展を測定するためのベンチマーク

Julian Straub Daniel DeTone Tianwei Shen Nan Yang Chris Sweeney Richard Newcombe

概要

ウェアラブルコンピュータの登場により、AIにエゴセントリックセンサデータに埋め込まれた新たなコンテキスト源が可能となった。この新たなエゴセントリックデータは、細粒度の3D位置情報を持つため、3D空間に基づく新しい種類の空間基盤モデル(spatial foundation models)の開発に向けた機会を提供している。本研究で「エゴセントリック基盤モデル(Egocentric Foundation Models, EFMs)」と呼ぶ分野における進展を測定するために、2つの核心的な3Dエゴセントリック認識タスクを備えたベンチマーク「EFM3D」を構築した。EFM3Dは、Project Ariaの高品質なアノテーション付きエゴセントリックデータを用いた、3Dオブジェクト検出および表面回帰に関する初のベンチマークである。本研究では、3D EFMsのベースラインとして「エゴセントリックボクセルリフティング(Egocentric Voxel Lifting, EVL)」を提案する。EVLは利用可能なすべてのエゴセントリックモダリティを活用し、2D基盤モデルから得られる基礎的な能力を継承している。このモデルは大規模なシミュレートデータ上で訓練された結果、EFM3Dベンチマークにおいて既存手法を上回る性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
EFM3D:3Dエゴセントリック基盤モデルへの進展を測定するためのベンチマーク | 記事 | HyperAI超神経