9日前
HyperReel:レイトコンディショニングサンプリングを用いた高忠実度6-DoF動画
Benjamin Attal, Jia-Bin Huang, Christian Richardt, Michael Zollhoefer, Johannes Kopf, Matthew O', Toole, Changil Kim

要約
体積表現を用いたシーン表現技術は、静止シーンにおける写実的なビュー合成を可能にし、現在存在する多数の6自由度(6-DoF)動画技術の基盤となっている。しかし、これらの表現を駆動する体積レンダリングプロセスは、画質、レンダリング速度、メモリ効率の間で慎重なトレードオフを必要としている。特に、既存の手法は、実世界の困難なシーンにおいて、リアルタイム動作、小さなメモリフットプリント、高品質なレンダリングの3つを同時に達成できていない。こうした課題に対応するため、本研究では新たな6-DoF動画表現であるHyperReelを提案する。HyperReelの2つの核心的構成要素は以下の通りである:(1) レイ条件付きサンプル予測ネットワークにより、高解像度下でも高忠実度・高フレームレートでのレンダリングを実現し、(2) コンパクトかつメモリ効率の高い動的ボリューム表現。本研究で提案する6-DoF動画パイプラインは、従来および最新の手法と比較して、視覚的品質の面で最も優れた性能を発揮しつつ、極めて小さなメモリ使用量を実現。さらに、カスタムCUDAコードを一切使用せずに、メガピクセル解像度下で最大18フレーム/秒のレンダリングを達成している。