초록
시나리오 플로우 추정은 3차원 환경 인식 분야에서 점점 더 많은 주목을 받고 있다. 단안 시나리오 플로우 추정 — 연속된 두 프레임의 이미지로부터 3차원 구조와 3차원 운동을 추정하는 작업 — 은 매우 불안정한 문제이며, 현재까지 실용적인 해결책이 부족한 상황이다. 본 연구에서는 뛰어난 정확도와 실시간 성능을 동시에 달성하는 새로운 단안 시나리오 플로우 추정 방법을 제안한다. 역문제의 관점에서 접근하여, 전통적인 광학 플로우 비용 볼륨에서 깊이와 3차원 운동을 동시에 효과적으로 추정할 수 있는 단일 합성곱 신경망(CNN)을 설계하였다. 또한, 레이블이 없는 데이터를 활용하기 위해 3차원 손실 함수와 차폐 영역 추론을 포함한 자기지도 학습(self-supervised learning) 방식을 채택하였다. 제안된 설계 선택 사항, 즉 대리 손실(proxy loss) 및 증강 설정(augmentation setup)의 유효성을 검증하였다. 제안한 모델은 단안 시나리오 플로우에 대한 비지도/자기지도 학습 접근법 중 최고 수준의 정확도를 달성하였으며, 광학 플로우 및 단안 깊이 추정 하위 작업에서도 경쟁력 있는 성능을 보였다. 반지도 학습을 통한 미세 조정(fine-tuning)을 추가로 적용함으로써 정확도가 더욱 향상되었으며, 실시간 처리에서도 기대할 만한 성능을 나타냈다.