9日前
HDR-GS:ガウシアンスプラッティングを用いた1000倍高速な高動的範囲新視点合成
Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

要約
高動態範囲(HDR)新視点合成(NVS)は、HDR撮影技術を用いて新たな視点から写実的な画像を生成することを目的としています。レンダリングされたHDR画像は、従来の低動態範囲(LDR)画像よりも広い明るさの範囲を捉え、シーンの詳細をより豊かに表現します。既存のHDR NVS手法は主にNeRFに基づいており、長時間の学習と遅い推論速度という課題を抱えています。本論文では、新規のフレームワークである「高動態範囲ガウススプラッティング(HDR-GS)」を提案します。この手法は、ユーザーが入力する露出時間に基づいて、効率的に新視点のHDR画像をレンダリングし、同時にLDR画像を再構成することが可能です。具体的には、球面調和関数を用いてHDR色を表現し、MLPベースのトーンマッパーを用いてLDR色を生成する「二重動態範囲(DDR)ガウスポイントクラウドモデル」を設計しました。得られたHDR色とLDR色は、それぞれ並列で微分可能なラスタライゼーション(PDR)プロセスに投入され、HDRおよびLDRの視点を再構成します。また、HDR NVSにおける3Dガウススプラッティングベースの手法の研究基盤を確立するため、カメラパラメータの再キャリブレーションとガウスポイントクラウドの初期位置の計算を実施しました。実験の結果、HDR-GSは従来の最先端NeRFベース手法と比較して、LDR NVSにおいて3.84 dB、HDR NVSにおいて1.91 dBのPSNR向上を達成しつつ、推論速度は1000倍高速化、学習時間はわずか6.3%にまで削減できました。