신경 복사장(NeRF)

NeRF(Neural Radiance Field)는 부분적인 2차원 이미지 세트로부터 복잡한 3차원 장면을 재구성할 수 있는 신경망입니다. 다양한 시뮬레이션, 게임, 미디어, 사물 인터넷(IoT) 애플리케이션에는 디지털 상호작용을 보다 현실적이고 정확하게 만들기 위해 3차원 이미지가 필요합니다. NeRF는 특정 장면의 장면 기하학, 객체 및 각도를 학습한 다음 새로운 관점에서 사실적인 3D 뷰를 렌더링하여 빈틈을 메우는 합성 데이터를 자동으로 생성합니다.암묵적 장면 표현을 이용한 새로운 시야 합성 기술로서, 컴퓨터 비전 분야에서 폭넓은 주목을 받고 있습니다.NeRF 모델은 새로운 관점 합성 및 3D 재구성 방법으로서 로봇공학, 도시 지도 작성, 자율 주행, 가상 현실/증강 현실 및 기타 분야에서 널리 사용되었습니다.

NeRF 사용 시나리오

NeRF는 복잡한 장면을 렌더링하고 다양한 사용 사례에 맞는 이미지를 생성할 수 있습니다.

• 컴퓨터 그래픽 및 애니메이션: 컴퓨터 그래픽에서 NeRF는 사실적인 시각 효과, 시뮬레이션, 장면을 만드는 데 사용될 수 있습니다. NeRF는 사실적인 환경, 캐릭터 및 기타 이미지를 캡처, 렌더링하고 투사할 수 있습니다. NeRF는 종종 비디오 게임 그래픽과 VX 영화 애니메이션을 개선하는 데 사용됩니다.
• 의료 영상: NeRF는 MRI와 같은 2D 스캔으로부터 포괄적인 해부학적 구조를 생성하는 데 도움이 됩니다. 이들의 기술은 신체 조직과 장기를 사실적으로 재구성하여 의사와 의료 기술자에게 유용한 시각적 맥락을 제공합니다. 
• 가상 현실: NeRF는 가상현실과 증강현실 시뮬레이션에 있어서 중요한 기술입니다. 3D 장면을 정확하게 모델링할 수 있으므로 사실적인 가상 환경을 만들고 탐색하는 데 도움이 됩니다.
• 위성 이미지 및 계획: 위성 이미지는 NeRF가 지구 표면의 포괄적인 모델을 생성하는 데 사용하는 다양한 이미지를 제공합니다. 실제 환경을 디지털화해야 하는 현실 캡처(RC) 사용 사례에 유용합니다. 

네르프 건축학

NeRF는 완전히 연결된 신경망 아키텍처인 다층 퍼셉트론(MLP)의 신경망 구성 요소를 사용하여 3D 장면의 표현을 생성합니다. MLP는 신경망과 딥러닝의 기본 모델입니다. 공간 좌표와 시야 방향을 색상과 밀도 값에 매핑하도록 훈련되었습니다. MLP는 일련의 수학적 구조를 사용하여 입력(예: 3D 공간의 위치 또는 2D 시야 방향)을 구성하여 3D 이미지의 각 지점에 대한 색상 및 밀도 값을 결정합니다.