HyperAIHyperAI

Command Palette

Search for a command to run...

Point3R: 명시적 공간 포인터 메모리를 사용한 스트리밍 3D 재구성

Yuqi Wu Wenzhao Zheng Jie Zhou Jiwen Lu

초록

순차적 시퀀스나 비순차적 이미지 컬렉션에서 밀도 높은 3D 장면 재구성은 컴퓨터 비전 연구를 실제 시나리오로 이어가는 중요한 단계입니다. DUSt3R가 도입한 패러다임에 따르면, 이미지 쌍을 공유된 좌표계로 밀도 높게 통합합니다. 후속 방법들은 더 많은 이미지에서 밀도 높은 3D 재구성을 달성하기 위해 암시적인 메모리를 유지합니다. 그러나 이러한 암시적인 메모리는 용량이 제한적이며, 초기 프레임의 정보 손실을 겪을 수 있습니다. 우리는 밀도 높은 스트리밍 3D 재구성을 목표로 하는 온라인 프레임워크인 Point3R를 제안합니다. 구체적으로, 현재 장면의 3D 구조와 직접 연관된 명시적인 공간 포인터 메모리를 유지합니다. 이 메모리의 각 포인터는 특정 3D 위치에 할당되며, 전역 좌표계에서 근처의 장면 정보를 변화하는 공간 특성으로 집약합니다. 최신 프레임에서 추출된 정보는 이 포인터 메모리와 명시적으로 상호작용하여, 현재 관측값을 전역 좌표계로 밀도 높게 통합할 수 있도록 합니다. 우리는 이 상호작용을 촉진하기 위해 3D 계층적 위치 임베딩을 설계하였으며, 간단하면서도 효과적인 융합 메커니즘을 설계하여 우리의 포인터 메모리가 균일하고 효율적임을 보장하였습니다. 우리의 방법은 다양한 작업에서 경쟁력 있는 혹은 최고 수준의 성능을 낮은 훈련 비용으로 달성하였습니다. 코드는 다음 링크에서 확인 가능합니다: this https URL (이 링크 참조).


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
Point3R: 명시적 공간 포인터 메모리를 사용한 스트리밍 3D 재구성 | 문서 | HyperAI초신경