MADrive: 메모리 증강 주행 장면 모델링

최근 장면 재구성 분야의 발전은 자율 주행(AD) 환경을 3D 가우시안 스플래팅을 사용하여 매우 사실적으로 모델링하는 방향으로 나아가고 있습니다. 그러나 이러한 재구성 결과는 여전히 원본 관찰에 밀접하게 연관되어 있으며, 크게 변경되거나 새로운 주행 시나리오의 사진적 합성을 지원하는 데 어려움이 있습니다. 본 연구에서는 기존 장면 재구성 방법의 능력을 확장하기 위해, 대규모 외부 메모리 뱅크에서 시각적으로 유사한 3D 자산을 검색하여 관찰된 차량을 대체하는 메모리 증강형 재구성 프레임워크인 MADrive를 소개합니다. 구체적으로, 야생에서 촬영한 약 7만 개의 360도 차량 비디오로 구성된 정제된 데이터셋 MAD-Cars를 공개하고, 메모리 뱅크에서 가장 유사한 차량 인스턴스를 찾는 검색 모듈을 제시합니다. 이 모듈은 해당 3D 자산을 비디오에서 재구성하고, 방향 일치와 조명 변환을 통해 대상 장면에 통합합니다. 그 결과, 장면 내 차량의 완전한 다중 시점 표현이 가능해져 실험에서 보듯이 실질적으로 변경된 구성을 사진적으로 합성할 수 있게 됩니다. 프로젝트 페이지: https://yandex-research.github.io/madrive/