9일 전

HDR-GS: 가우시안 스플래터링을 통한 1000배 빠른 효율적인 고정밀도 신규 시점 합성

Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille
HDR-GS: 가우시안 스플래터링을 통한 1000배 빠른 효율적인 고정밀도 신규 시점 합성
초록

고정역동범위(HDR) 신규 시점 합성(NVS)은 HDR 영상 기술을 활용하여 새로운 시점에서 사진처럼 생생한 이미지를 생성하는 것을 목표로 한다. 렌더링된 HDR 이미지는 일반적인 저정역동범위(LDR) 이미지보다 더 넓은 밝기 수준을 포착하며, 장면의 더 많은 세부 정보를 담고 있다. 기존의 HDR NVS 방법은 주로 NeRF 기반으로 이루어져 있으며, 긴 학습 시간과 느린 추론 속도라는 문제점을 지닌다. 본 논문에서는 새로운 프레임워크인 고정역동범위 가우시안 스플래터링(HDR-GS)을 제안한다. 이 프레임워크는 사용자 입력 노출 시간을 기반으로 효율적으로 신규 HDR 시점을 렌더링하고, LDR 이미지를 재구성할 수 있다. 구체적으로, 구면 조화함수를 활용하여 HDR 색상을 적합시키고, MLP 기반 톤 매핑기(tone-mapper)를 사용하여 LDR 색상을 렌더링하는 이중 정역동범위(DDR) 가우시안 점군 모델을 설계하였다. 이후 HDR 및 LDR 색상은 두 개의 병렬 미분 가능한 래스터라이제이션(PDR) 프로세스에 입력되어 HDR 및 LDR 시점을 재구성한다. 3D 가우시안 스플래터링 기반 HDR NVS 연구를 위한 데이터 기반을 마련하기 위해, 카메라 파라미터를 재보정하고 가우시안 점군의 초기 위치를 계산하였다. 실험 결과, 제안한 HDR-GS는 기존의 최첨단 NeRF 기반 방법보다 LDR 및 HDR NVS에서 각각 3.84dB와 1.91dB의 PSNR 향상을 달성하면서도 추론 속도는 1000배 향상되고, 학습 시간은 단 6.3%만 소요됨을 입증하였다.

HDR-GS: 가우시안 스플래터링을 통한 1000배 빠른 효율적인 고정밀도 신규 시점 합성 | 최신 연구 논문 | HyperAI초신경