HorizonNet: 1D 표현 및 팬orama 스트레칭 데이터 증강을 이용한 방 구조 학습

단일 파노라마 이미지에서 3D 방 구조를 추정하는 문제에 대한 새로운 접근법을 제시합니다. 우리는 각 이미지 열에서 바닥-벽과 천장-벽의 경계 위치 및 벽-벽 경계의 존재를 인코딩하는 세 개의 1D 벡터로 방 구조를 표현합니다. 제안된 네트워크인 HorizonNet은 1D 레이아웃 예측을 위해 훈련되었으며, 이전 최신 접근법들을 능가합니다. 1D 예측으로부터 3D 방 구조를 복원하기 위한 설계된 후처리 절차는 낮은 계산 비용으로 방 형태를 자동으로 추론할 수 있습니다 - 파노라마 이미지 하나당 20ms 미만이 소요되며, 이전 연구들은 수십 초가 필요할 수 있었습니다. 또한, 파노라마 데이터를 다양화하고 다른 파노라마 관련 학습 과제에도 적용할 수 있는 Pano Stretch Data Augmentation을 제안합니다. 비직육면체 레이아웃에 대한 한정된 데이터 때문에, 현재 데이터셋에서 일반적인 레이아웃 65개를 재라벨링하여 fine-tuning에 사용하였습니다. 우리의 접근법은 정성적 결과와 교차 검증을 통해 일반적인 레이아웃에서 우수한 성능을 보여줍니다.