초록
순차적 시퀀스나 비순차적 이미지 컬렉션에서 밀도 높은 3D 장면 재구성은 컴퓨터 비전 연구를 실제 시나리오로 이어가는 중요한 단계입니다. DUSt3R가 도입한 패러다임에 따르면, 이미지 쌍을 공유된 좌표계로 밀도 높게 통합합니다. 후속 방법들은 더 많은 이미지에서 밀도 높은 3D 재구성을 달성하기 위해 암시적인 메모리를 유지합니다. 그러나 이러한 암시적인 메모리는 용량이 제한적이며, 초기 프레임의 정보 손실을 겪을 수 있습니다. 우리는 밀도 높은 스트리밍 3D 재구성을 목표로 하는 온라인 프레임워크인 Point3R를 제안합니다. 구체적으로, 현재 장면의 3D 구조와 직접 연관된 명시적인 공간 포인터 메모리를 유지합니다. 이 메모리의 각 포인터는 특정 3D 위치에 할당되며, 전역 좌표계에서 근처의 장면 정보를 변화하는 공간 특성으로 집약합니다. 최신 프레임에서 추출된 정보는 이 포인터 메모리와 명시적으로 상호작용하여, 현재 관측값을 전역 좌표계로 밀도 높게 통합할 수 있도록 합니다. 우리는 이 상호작용을 촉진하기 위해 3D 계층적 위치 임베딩을 설계하였으며, 간단하면서도 효과적인 융합 메커니즘을 설계하여 우리의 포인터 메모리가 균일하고 효율적임을 보장하였습니다. 우리의 방법은 다양한 작업에서 경쟁력 있는 혹은 최고 수준의 성능을 낮은 훈련 비용으로 달성하였습니다. 코드는 다음 링크에서 확인 가능합니다: this https URL (이 링크 참조).