OmniLayout: 실내 구면 파노라마를 이용한 방 구조 재구성

단일 RGB 파노라마가 주어졌을 때, 3D 레이아웃 재구성의 목표는 코너, 바닥 경계, 천장 경계를 예측하여 방의 레이아웃을 추정하는 것입니다. 일반적인 접근 방식은 표준 컨볼루션 네트워크를 사용하여 코너와 경계를 예측한 후, 후처리를 통해 3D 레이아웃을 생성하는 것이었습니다. 그러나 파노라마 이미지에서 공간 변동 왜곡은 표준 컨볼루션의 이동 등변성 특성과 호환되지 않으므로 성능이 저하됩니다. 이를 대신하기 위해 우리는 구면 컨볼루션(spherical convolutions)을 사용하는 것을 제안합니다. 이 네트워크를 OmniLayout이라고 부르며, 역방향 등각 투영(inverse equirectangular projection)에 따라 직접 구면 상에서 컨볼루션을 수행하므로 등각 왜곡(equirectangular distortions)에 불변입니다.새로운 평가 지표를 사용하여 실험 결과, OmniLayout은 표준 컨볼루션 네트워크와 비교할 때 극 근처에서 심하게 왜곡된 영역에서 오류를 약 25% 감소시키는 것으로 나타났습니다. 실험 결과는 OmniLayout이 PanoContext와 Stanford 2D-3D 두 가지 다른 벤치마크 데이터셋에서 기존 최고 수준의 방법보다 약 4% 우수한 성능을 보임을 확인하였습니다. 코드는 https://github.com/rshivansh/OmniLayout에서 제공됩니다.