3D-LFM: Lifting Foundation Model 3D-LFM: 리프팅 기초 모델

2D 랜드마크에서 3D 구조와 카메라를 추출하는 것은 컴퓨터 비전 분야의 근간을 이루는 요소입니다. 전통적인 방법들은 Perspective-n-Point (PnP) 문제와 같은 특정 강체 객체에 제한되어 왔지만, 딥러닝은 노이즈, 가림 현상, 그리고 관점 왜곡에 견디는 능력을 갖춘 다양한 객체 클래스(C3DPO 및 PAUL 등)의 재구성을 가능하게 하였습니다. 그러나 이러한 모든 기술은 3D 훈련 데이터 간의 대응 관계를 설정해야 하는 근본적인 필요성으로 인해 제약을 받았으며, 이는 "대응 관계"가 많은 3D 데이터를 보유한 응용 프로그램에서만 유용성을 발휘할 수 있게 합니다. 우리의 접근 방식은 트랜스포머의 고유한 순열 동등성을 활용하여 각 3D 데이터 인스턴스당 점의 수가 다르더라도 관리할 수 있으며, 가림 현상을 견디고 미지의 범주로 일반화됩니다. 우리는 여러 2D-3D 리프팅 작업 벤치마크에서 최신 성능을 입증하였습니다. 우리의 접근 방식이 이렇게 넓은 범주의 구조에 대해 훈련될 수 있으므로, 이를 단순히 3D 리프팅 기초 모델(3D-LFM)이라고 지칭합니다 -- 이는 그 종류 중 첫 번째입니다.