Depth Pro: 1초 이내에 명확한 단안경 깊이 측정

1. 튜토리얼 소개

Depth Pro는 Apple이 2024년 10월에 오픈 소스로 공개한 제로샷 메트릭 단안경 깊이 추정을 위한 기본 모델입니다. 관련 논문 결과는 다음과 같습니다.Depth Pro: 1초 이내에 선명한 단안식 미터법 깊이 측정"Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter 및 Vladlen Koltun의 작품입니다.

Depth Pro는 단일 2D 이미지로부터 고해상도 3D 깊이 맵을 빠르게 생성합니다. 이 모델은 0.3초밖에 걸리지 않아 빠를 뿐만 아니라, 메트릭 수준의 깊이 정보를 제공하고, 생성된 깊이 맵은 실제 세계의 규모를 갖습니다. Depth Pro는 초점거리와 같은 카메라의 내부 매개변수에 의존하지 않으며 매우 다재다능합니다. 경계의 세부 사항을 포착하는 데 탁월하며 머리카락이나 식물과 같은 미세한 구조를 선명하게 묘사할 수 있습니다. Depth Pro는 제로샷 학습이 가능하여 도메인별 데이터 학습 없이 정확한 예측을 내릴 수 있어 증강 현실, 3D 재구성, 이미지 편집 등 다양한 분야에서 폭넓은 적용 잠재력을 제공합니다.

Depth Pro의 주요 기능은 다음과 같습니다.

제로샷 메트릭 깊이 추정: 내재적 카메라 매개변수 없이 단일 2D 이미지에서 절대적 축척을 갖는 메트릭 깊이 맵을 생성합니다.
고해상도 출력: 이 모델은 최대 225만 화소의 깊이 맵을 생성하여 풍부한 세부 정보를 제공합니다.
빠른 처리: 표준 GPU에서 Depth Pro는 실시간 애플리케이션에 적합한 0.3초 안에 깊이 맵을 생성합니다.
세부 묘사: 머리카락이나 식물과 같은 미묘한 구조를 포착하고 경계의 선명도를 높이는 데 특히 좋습니다.

기술적 원리에 따르면, Depth Pro는 글로벌 이미지 컨텍스트를 포착하는 동시에 고해상도에서 미세 구조를 정확하게 식별하는 효율적인 다중 스케일 시각적 변환기(ViT) 아키텍처를 기반으로 합니다. 실제 데이터와 합성 데이터 세트를 조합하여 학습하여 고정밀 측정 항목과 세부적인 경계 추적을 달성합니다. Depth Pro는 단일 이미지로부터 초점 거리를 추정하여, 제로 샘플 초점 거리 추정 분야를 선도하고 있습니다. 더욱이 2단계 학습 전략을 채택했는데, 첫 번째 단계는 여러 도메인에 걸쳐 견고한 기능을 학습하는 것을 목표로 하고, 두 번째 단계는 경계를 명확히 하고 예측된 깊이 맵에서 미묘한 세부 사항을 드러내는 데 중점을 둡니다.