HyperAIHyperAI

Command Palette

Search for a command to run...

Point3R: 明示的空間ポインタメモリを用いたストリーミング3D再構成

Yuqi Wu Wenzhao Zheng Jie Zhou Jiwen Lu

概要

順次的なシーケンスや非順序の画像集合から濃密な3Dシーン再構成を行うことは、コンピュータビジョンの研究を実践的な状況に導入する際の重要なステップです。DUSt3Rによって導入されたパラダイムに従い、画像ペアを共有座標系に統合することで、その後の手法はより多くの画像からの濃密な3D再構成を達成するために暗黙の記憶を維持しています。しかし、このような暗黙の記憶は容量が限定されており、初期フレームの情報損失に悩まされる可能性があります。そこで我々はPoint3Rというオンラインフレームワークを提案します。これは、現在のシーンの3D構造と直接関連付けられた明示的な空間ポインタメモリを維持することを目指しています。このメモリ内の各ポインタには特定の3D位置が割り当てられ、グローバル座標系における近傍のシーン情報を変動する空間特徴量に集約します。最新フレームから抽出された情報は、このポインタメモリと明示的に相互作用し、現在の観測結果をグローバル座標系に濃密に統合することが可能になります。我々はこの相互作用を促進するために3D階層的位置埋め込みを設計し、また単純かつ効果的な融合機構を設計して、ポインタメモリが均一で効率的であることを確保しました。我々の方法は低学習コストで様々なタスクにおいて競争力のあるまたは最先端の性能を達成しています。コードは以下のURLで利用可能です: this https URL.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています