PWOC-3D: 깊이 있는 차단 인식 엔드투엔드 시나리오 플로우 추정

최근 몇 년간, 컨벌루션 신경망(CNNs)은 광학 유동과 스테레오 매칭 등과 같은 밀도 추정 문제를 포함한 많은 컴퓨터 비전 작업을 학습하는 데 있어 점점 더 큰 성공을 거두고 있습니다. 그러나 이러한 작업들의 공동 예측인 시나리오 유동(scene flow)은 전통적으로 원시적인 가정에 기반한 느린 고전적 방법으로 다뤄져 왔으며, 일반화에 실패하였습니다. 본 논문에서 제시된 연구는 속도와 정확성 면에서 효율적으로 이러한 단점을 극복하기 위해 스테레오 이미지 시퀀스로부터 시나리오 유동을 예측하는 콤팩트한 CNN 구조인 PWOC-3D를 제안합니다. 또한, 큰 움직임과 은폐(occlusions)는 시나리오 유동 추정에서 잘 알려진 문제입니다. PWOC-3D는 이러한 도전 과제들을 명시적으로 모델링하기 위해 특화된 설계 결정을 사용합니다. 이와 관련하여, 우리는 어떠한 라벨링된 은폐 데이터 없이 이미지로부터 은폐를 예측하는 새로운 자기 감독 전략을 제안합니다. 이러한 여러 구성 요소들을 활용함으로써, 우리의 네트워크는 KITTI 벤치마크와 어려운 FlyingThings3D 데이터셋에서 경쟁력 있는 결과를 달성하였습니다. 특히 KITTI에서는 최상의 성능을 보이는 방법보다 48배 적은 파라미터로 엔드투엔드 딥러닝 방법 중 두 번째로 좋은 성능을 보였습니다.