효율적인 광류를 위한 RAFT 재고찰

딥러닝 기반 광류( optical flow) 추정 기법은 상당한 진전을 이뤘음에도 불구하고, 큰 이동량과 반복 패턴을 정확히 추정하는 것은 여전히 도전 과제로 남아 있다. 이러한 문제는 기존 알고리즘에서 사용하는 국소적 특징과 유사도 탐색 방식의 한계에 기인한다. 또한 일부 기존 방법은 실행 속도가 느리고 그래픽 메모리 사용량이 과도한 문제가 있다. 이러한 문제를 해결하기 위해 본 논문은 RAFT 기반의 새로운 접근법을 제안한다. 제안하는 주의 기반 특징 위치화(Attention-based Feature Localization, AFL) 기법은 주의 메커니즘(attention mechanism)을 도입하여 전역적 특징 추출과 반복 패턴 처리를 효과적으로 수행한다. 또한 두 번째 프레임에서 해당 픽셀과 대응되는 픽셀을 매칭하고 정확한 광류 값을 할당하는 연산자를 도입하였다. 더불어, 검색 연산자 내 데이터 중복을 줄이고 유사도 추출을 위한 탐색 공간을 확장함으로써 수렴 속도를 향상시키고 큰 이동량 처리 능력을 강화하기 위해 비형상 검색 연산자(Amorphous Lookup Operator, ALO)를 제안한다. 제안된 방법인 효율적 RAFT(Efficient RAFT, Ef-RAFT)는 Sintel 데이터셋에서 RAFT 대비 10%의 성능 향상을, KITTI 데이터셋에서는 5%의 향상을 달성하였다. 특히, 이 성능 향상은 속도는 33% 감소, 메모리 사용량은 단 13% 증가라는 비교적 소량의 비용으로 달성되었다. 코드는 다음 주소에서 공개되어 있다: https://github.com/n3slami/Ef-RAFT