초록
단일 카메라 이미지 시퀀스로부터 3차원 시_scene 흐름(3D scene flow)을 추정하는 것은 간단하고 경제적인 캡처 설정으로 인해 점점 더 많은 주목을 받고 있다. 그러나 이 문제는 심각한 불안정성(ill-posedness)을 지니고 있어 현재의 방법들, 특히 효율적이고 실시간 동작이 가능한 접근법의 정확도가 제한되어 있다. 본 논문에서는 자기지도 학습(self-supervised learning) 기반의 다중 프레임 단일 카메라 시나리오 흐름 네트워크를 제안함으로써, 이전의 네트워크들보다 정확도를 향상시키면서도 실시간 성능을 유지한다. 고도화된 이중 프레임 기준 모델(두 개의 프레임 입력과 분할 디코더(split-decoder) 구조)을 기반으로, (i) 삼중 프레임 입력과 컨볼루션 LSTM 연결을 사용하는 다중 프레임 모델, (ii) 더 높은 정확도를 위한 격자형(occlusion-aware census) 손실 함수, 그리고 (iii) 학습 안정성을 향상시키기 위한 그래디언트 분리 전략을 제안한다. KITTI 데이터셋에서 본 연구의 방법은 자기지도 학습 기반 단일 카메라 시나리오 흐름 추정 기법 중 최고 수준의 정확도를 달성하였다.