HyperAIHyperAI

Command Palette

Search for a command to run...

Gear-NeRF:運動認識型時空間サンプリングを用いた自由視点レンダリングとトラッキング

Xinhang Liu Yu-Wing Tai Chi-Keung Tang Pedro Miraldo Suhas Lohit Moitreya Chatterjee

概要

動的シーンをモデル化するためのNeural Radiance Fields(NeRF)の拡張により、高精細で自由視点のレンダリングが可能となりました。これらの手法は没入型体験の構築において一定の可能性を示していますが、その広範な適用を妨げる2つの課題が存在します。(i)計算リソースが限られた環境下で再構成品質が著しく低下する点、および(ii)シーンの背後にある意味的構造を理解できない点です。これらの問題に対処するために、我々は強力な画像セグメンテーションモデルから得られる意味情報を利用したGear-NeRFを提案します。本手法は、空間時間的(4次元)な意味的埋め込みを学習する原理的なアプローチを提供し、その上で「ギア(gear)」という概念を導入することで、物体の運動の度合いに応じてシーン内の動的領域を階層的にモデル化することを可能にしました。この区分化により、各領域の運動スケールに応じて空間時間的サンプリング解像度を適切に調整でき、より高精細な動的シーンの新視点合成を実現します。同時に、ほぼ追加コストなしに、対象物体の自由視点追跡が可能となり、従来のNeRFベースの手法では達成されていなかった機能を実現しています。実証的な実験により、本手法の有効性が検証され、複数の困難なデータセットにおいて、最先端のレンダリング性能および追跡性能を達成しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています