EpO-Net: 밀도 있는 궤적에 대한 기하학적 제약을 활용한 운동 색인성 추출

기존의 주목할 만한 운동 세그멘테이션 접근 방식은 기하학적 특징을 명시적으로 학습하지 못하며, 두드러진 정적 객체에 대해 흔히 잘못된 탐지 결과를 내놓는다는 한계가 있다. 본 연구에서는 이러한 문제를 해결하기 위해 다중 시점 기하학적 제약 조건을 활용한다. 특히, 바다와 같이 비강체적 배경을 처리하기 위해 운동 정보와 외형 정보 기반 특징 간의 강건한 융합 메커니즘을 제안한다. 우리는 영상 내 모든 픽셀을 커버하는 밀도 높은 궤적(dense trajectories)을 탐색하고, 배경과 전경 영역을 구분하기 위해 궤적 기반의 에피폴라 거리(trajectory-based epipolar distances)를 제안한다. 이러한 에피폴라 거리는 데이터에 의존하지 않으며, 영상 간 몇몇 특징점의 대응 관계만으로 간편하게 계산할 수 있다. 우리는 에피폴라 거리와 광류(optical flow)를 결합함으로써 강력한 운동 네트워크를 학습할 수 있음을 보여준다. 이 두 가지 특징을 동시에 활용할 수 있도록 하기 위해, 단순하면서도 효과적인 메커니즘인 입력 드롭아웃(input-dropout)을 제안한다. 운동 정보만을 사용하는 기존 네트워크와 비교하여, DAVIS-2016 데이터셋에서 평균 IoU 점수 기준으로 기존 최고 성능보다 5.2% 향상된 성과를 달성하였다. 또한, 입력 드롭아웃 메커니즘을 활용해 제안한 운동 네트워크와 외형 네트워크를 강건하게 융합함으로써, DAVIS-2016, DAVIS-2017, SegTrackv2 데이터셋에서 모두 기존 방법들을 능가하는 성능을 보였다.