효율적인 광류 추정을 위한 반복적 부분 커널 네트워크

광학 흐름 추정은 이미지 간 각 픽셀 단위의 운동 벡터를 예측하는 어려운 과제로 구성된다. 최근의 방법들은 추정 정확도를 향상시키기 위해 더 크고 복잡한 모델을 활용하고 있다. 그러나 이러한 접근은 광학 흐름 방법의 보편적 채택에 부정적인 영향을 미치며, 광학 흐름 데이터 확보가 어려운 점을 고려할 때 더 일반화된 모델을 학습하는 데도 어려움을 초래한다. 본 논문에서는 광학 흐름 추정을 위한 작고 효율적인 모델을 제안한다. 우리는 크기가 크게 감소한 상태에서도 구분 가능한 특징을 효과적으로 추출할 수 있는 새로운 공간 순환 인코더를 설계하였다. 기존의 표준 순환 유닛과 달리, 단일 공유 블록을 통해 변수 크기의 다중 스케일 특징을 생성하는 부분 커널 컨볼루션(Partial Kernel Convolution, PKConv) 레이어를 활용하였다. 또한, 낮은 계산 비용으로 큰 맥락 정보를 효과적으로 포착할 수 있도록 효율적인 분리형 대규모 커널(Separable Large Kernels, SLK)을 설계하였다. 공개 벤치마크에서의 실험 결과, 경쟁 기법들에 비해 훨씬 적은 파라미터와 메모리 사용량으로 최신 기준의 일반화 성능을 달성함을 확인하였다. 특히, 피팅(finetuning) 없이도 스프링 벤치마크에서 1위를 기록하며, 다음으로 발표된 방법보다 10% 이상 성능을 향상시켰으며, 연산량(FLOPs)은 약 10배, 메모리 사용량은 4배 이상 줄이는 데 성공하였다.