초록
광학 흐름(optical flow)을 위한 새로운 딥 네트워크 아키텍처인 반복적 모든 쌍 필드 변환(Recurrent All-Pairs Field Transforms, RAFT)을 제안한다. RAFT는 픽셀 단위의 특징을 추출하고, 모든 픽셀 쌍에 대해 다중 스케일 4차원 상관성 볼륨(correlation volume)을 구성한 후, 상관성 볼륨에서 조회를 수행하는 반복 단위(recurrent unit)를 통해 흐름 필드를 반복적으로 업데이트한다. RAFT는 최첨단 성능을 달성하며, KITTI 데이터셋에서 F1-all 오차를 5.10%로 기록하여 기존 최고 성능 결과(6.10%) 대비 16%의 오차 감소를 이뤘다. 또한 Sintel 데이터셋(final pass)에서는 종단 오차(end-point-error)를 2.855픽셀로 달성하여 기존 최고 성능 결과(4.098픽셀) 대비 30%의 오차 감소를 보였다. 더불어 RAFT는 다양한 데이터셋 간의 강력한 일반화 능력과 추론 시간, 학습 속도, 파라미터 수 측면에서 높은 효율성을 갖추고 있다. 코드는 https://github.com/princeton-vl/RAFT 에서 공개되어 있다.