깊이 추정은 3D 비전 분야에서 가장 기본적이면서도 중요한 작업 중 하나입니다. 자율 주행, 로봇 내비게이션, AR/VR, 디지털 트윈, 비디오 콘텐츠 생성 등 다양한 시스템에서 장면 내 객체와 카메라 간의 공간적 관계를 정확하게 파악해야 합니다. 그러나 비디오 깊이 추정은 오랫동안 해결하기 어려운 모순에 직면해 왔습니다. 확산 모델로 대표되는 생성형 방법은 강력한 의미 이해 능력을 갖추고 있으며, 방대한 사전 학습 데이터를 활용하여 복잡한 장면 구조를 추론할 수 있지만, 예측 결과가 무작위 샘플링 과정의 영향을 받아 기하학적 착시, 크기 변화, 시간적 불안정성 등의 문제를 야기할 수 있습니다. 반면, 전통적인 판별형 방법은 결정성이 우수하지만 대규모 레이블링 데이터에 크게 의존하기 때문에 학습 비용이 높고 복잡한 장면에서의 일반화 능력이 제한적입니다.

홍콩과학기술대학교(광저우) 연구팀은 이러한 업계의 문제점을 해결하기 위해 DVD(결정론적 비디오 깊이 추정)를 제안했습니다.본 연구에서는 최초로 사전 학습된 비디오 확산 모델을 단일 순방향 전파 비디오 깊이 추정기로 결정론적으로 변환했습니다.결과를 생성하기 위해 여러 번의 반복이 필요한 기존 확산 모델과 달리, DVD는 단 한 번의 순방향 계산으로 깊이 예측을 완료할 수 있습니다. 이는 추론 효율성을 크게 향상시킬 뿐만 아니라 무작위 샘플링으로 인해 발생하는 기하학적 착시 문제를 완전히 제거하여 비디오 시퀀스의 시간적 일관성과 구조적 안정성을 근본적으로 보장합니다.

더 중요한 것은,DVD는 기본 비디오 모델에 포함된 방대한 양의 기하학적 및 의미론적 사전 지식을 성공적으로 보존했습니다.혁신적인 구조적 고정 메커니즘과 잠재 매니폴드 보정(LMR) 기술을 통해, 이 모델은 전반적인 장면 안정성을 유지하면서 객체의 가장자리, 고주파 텍스처, 움직임 디테일을 정확하게 복원하여 깊이 맵의 구조적 충실도를 크게 향상시킬 수 있습니다.

여러 공개 벤치마크 테스트에서 DVD의 제로 샘플 성능은 최첨단(SOTA) 수준에 도달했습니다.더욱이, 이 모델은 단 367,000프레임의 훈련 데이터만으로 최고 수준의 성능을 달성했는데, 이는 기존 판별 방식에서 요구되는 6천만 프레임에 비해 약 163배 감소한 수치입니다. 이는 생성형 기반 모델이 기하학적 이해에 있어 엄청난 잠재력을 지니고 있음을 입증할 뿐만 아니라, 향후 저비용 고정밀 비디오 3D 인식을 위한 완전히 새로운 기술적 방향을 제시합니다.

개발자들이 DVD를 빠르게 경험할 수 있도록 HyperAI는 배포가 간편한 노트북을 출시하여 진입 장벽을 낮추고 최첨단(SOTA) 모델에 원클릭으로 접근할 수 있도록 했습니다. ⬇️

온라인으로 실행:https://go.hyper.ai/w8kUO

오픈소스 주소:https://github.com/EnVision-Research/DVD

더 많은 온라인 튜토리얼:

https://hyper.ai/notebooks

데모 실행

1. hyper.ai 홈페이지에 접속한 후 "튜토리얼" 페이지를 선택하거나 "더 많은 튜토리얼 보기"를 클릭하고 "DVD: 생성적 사전 정보를 기반으로 한 결정론적 비디오 깊이 추정"을 선택한 다음 "이 튜토리얼 실행"을 클릭합니다.

2. 페이지가 리디렉션된 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX 5090" 및 "PyTorch" 이미지를 선택하고 "작업 실행 계속"을 클릭합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 표시

1. 페이지가 리디렉션된 후 왼쪽에 있는 README 파일을 클릭하고 상단의 실행을 클릭합니다.

2. 프로세스가 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 인터페이스를 엽니다.