FreDSNet: 빠른 푸리에 컨볼루션을 활용한 단일 이미지 깊이 및 세분적 분할 통합 모델

이 연구에서는 단일 파노라마 이미지에서 실내 환경의 의미론적 3차원 이해를 달성하는 딥러닝 솔루션인 FreDSNet을 제안한다. 전방위 이미지(omnidirectional images)는 전체 환경에 대한 360도 맥락 정보를 제공하기 때문에 장면 이해 문제 해결에 있어 과제 특화적인 장점을 지닌다. 그러나 전방위 이미지의 본질적인 특성으로 인해 객체 탐지 및 세그멘테이션의 정확도 향상이나 깊이 추정의 정밀도 향상에 추가적인 문제들이 발생한다. 이러한 문제를 해결하기 위해, 주파수 도메인에서의 컨볼루션을 활용하여 각 컨볼루션 계층에서 더 넓은 수용 영역(receptive field)을 확보한다. 이러한 컨볼루션은 전방위 이미지의 전체 맥락 정보를 효과적으로 활용할 수 있게 한다. FreDSNet은 단일 파노라마 이미지에서 단안 깊이 추정과 의미론적 세그멘테이션을 동시에 수행하는 최초의 네트워크로, 빠른 푸리에 컨볼루션을 활용한다. 실험 결과, FreDSNet은 의미론적 세그멘테이션 및 깊이 추정 분야에서 기존 최첨단 기법들과 유사한 성능을 보였다. FreDSNet의 소스 코드는 공개되어 있으며, https://github.com/Sbrunoberenguel/FreDSNet 에서 확인할 수 있다.