단일 이미지에서 암묵적 표현을 활용한 종합적 3D 장면 이해

단일 이미지로부터 종합적인 3차원 장면 이해를 위한 새로운 파이프라인을 제안한다. 본 방법은 객체의 형태, 객체의 자세, 장면 레이아웃을 예측할 수 있다. 이는 매우 불안정한 문제이기 때문에, 기존의 방법들은 특히 오브젝트 간의 강한 겹침(오클루전)으로 인해 혼잡한 장면에서 형태와 레이아웃 추정이 정확하지 못한 경향이 있다. 이를 해결하기 위해 최신의 딥 암묵적 표현(deep implicit representation)을 활용한다. 우리는 객체 형태 추정을 향상시키기 위해 이미지 기반의 로컬 구조적 암묵적 네트워크를 제안하며, 객체의 3차원 자세와 장면 레이아웃을 개선하기 위해 암묵적 로컬 객체 특징을 활용하는 새로운 암묵적 장면 그래프 신경망을 도입한다. 또한, 오브젝트 간 잘못된 맥락을 방지하기 위해 새로운 물리적 위반 손실(physical violation loss)을 제안한다. 광범위한 실험을 통해 제안하는 방법이 객체 형태, 장면 레이아웃 추정 및 3차원 객체 탐지 측면에서 최신 기술을 모두 초월함을 입증하였다.