NeW CRFs: 단안 깊이 추정을 위한 신경망 윈도우 완전 연결 CRFs

단일 이미지에서 정확한 깊이를 추정하는 것은 본질적으로 모호하고 잘 정의되지 않은 문제이기 때문에 어려움이 있다. 최근 연구들은 깊이 맵을 직접 회귀하기 위해 점점 더 복잡하고 강력한 네트워크를 설계하고 있지만, 우리는 CRF 최적화의 길을 선택했다. 계산 비용이 높기 때문에, 일반적으로 CRF는 전체 그래프가 아니라 이웃 영역 간에 수행된다. 보다 전방향적인 CRF(Fully-connected CRF, FC-CRF)의 잠재력을 극대화하기 위해, 입력을 윈도우로 분할하고 각 윈도우 내에서 FC-CRF 최적화를 수행함으로써 계산 복잡도를 줄이고 FC-CRF의 실현 가능성을 높였다. 그래프 내 노드 간의 관계를 더 효과적으로 포착하기 위해, 다중 헤드 어텐션 메커니즘을 활용하여 다중 헤드 잠재 함수(multi-head potential function)를 계산하고, 이를 네트워크에 입력하여 최적화된 깊이 맵을 출력한다. 이후 하향-상향 구조(bottom-up-top-down structure)를 구축하였으며, 이 구조에서 신경망 기반 윈도우 FC-CRF 모듈은 디코더 역할을 하고, 비전 트랜스포머(Vision Transformer)는 인코더 역할을 한다. 실험 결과, 기존 방법들과 비교하여 KITTI 및 NYUv2 데이터셋에서 모든 평가 지표에서 본 연구 방법이 상당한 성능 향상을 보였다. 또한 제안된 방법은 패노라마 이미지에 직접 적용 가능하며, MatterPort3D 데이터셋에서 기존 모든 패노라마 방법보다 뛰어난 성능을 달성했다. 프로젝트 페이지: https://weihaosky.github.io/newcrfs