실내 깊이 완성에 대한 경계 일관성 및 자기 주의 메커니즘

깊이 추정 기능은 3D 인식에 유용합니다. 일반 등급의 깊이 카메라는 실시간으로 깊이와 색상 이미지를 캡처할 수 있습니다. 그러나 광택이 나는 표면, 투명한 표면 또는 먼 거리의 표면은 센서에 의해 제대로 스캔되지 않습니다. 그 결과, 센싱된 깊이에서의 향상과 복원은 중요한 작업입니다. 깊이 완성은 센서가 감지하지 못하는 구멍을 채우는 것을 목표로 하며, 이는 여전히 머신에게 배우기 어려운 복잡한 작업입니다. 전통적인 수작업 조정 방법은 한계에 도달했으며, 신경망 기반 방법은 주변 깊이 값에서 출력을 복사하고 보간하는 경향이 있어 경계가 모호해지고 깊이 맵의 구조가 손실됩니다. 따라서 우리의 주요 작업은 경계 선명도를 유지하면서 완성된 깊이 맵을 개선하기 위한 엔드투엔드 네트워크를 설계하는 것입니다. 우리는 이미지 인페인팅 분야에서 이전에 사용되었던 자기 주의 메커니즘(self-attention mechanism)을 활용하여 각 합성곱 계층에서 더 유용한 정보를 추출하여 완성된 깊이 맵을 향상시킵니다. 또한, 우리는 경계 일관성(boundary consistency) 개념을 제안하여 깊이 맵의 품질과 구조를 강화합니다. 실험 결과는 우리의 자기 주의 메커니즘과 경계 일관성 스키마의 효과성을 검증하며, Matterport3D 데이터셋에서 이전 최고 수준의 깊이 완성 연구보다 우수한 성능을 보였습니다. 우리의 코드는 공개적으로 https://github.com/tsunghan-wu/Depth-Completion 에서 이용 가능합니다.