초록
최근 자기지도 밀도 추적(dense tracking)에 대한 관심이 증가하면서 빠른 진전이 이루어졌지만, 여전히 지도 학습 방법에 비해 성능이 크게 뒤처지고 있다. 본 연구에서는 레이블이 전혀 없는 영상 데이터만을 사용해 훈련된 밀도 추적 모델을 제안하며, 기존 자기지도 방법들에 비해 기존 벤치마크에서 크게 향상된 성능(15% 이상 향상)을 달성하고, 지도 학습 방법과 비슷한 수준의 성능을 실현하였다. 본 논문에서는 첫째, 자기지도 학습 및 재구성 손실 함수에 사용되는 기존의 전통적 선택 사항들을 철저한 실험을 통해 재평가하고, 최적의 선택지를 명확히 규명하였다. 둘째, 기존 방법들을 더욱 개선하기 위해 아키텍처에 핵심적인 메모리 구성 요소를 도입하였다. 셋째, 대규모 반지도 학습 영상 객체 분할(즉, 밀도 추적)에 대해 벤치마크를 수행하고, 새로운 평가 지표인 ‘일반화 능력(generalizability)’을 제안하였다. 본 연구의 첫 번째와 두 번째 기여는 밀도 추적의 표준 평가 지표에서 처음으로 지도 학습 방법과 경쟁 가능한 자기지도 네트워크를 구현하였다. 일반화 능력을 측정했을 때, 자기지도 접근 방식이 대부분의 지도 학습 방법보다 실제로 우수함을 보였다. 우리는 이 새로운 일반화 능력 지표가 밀도 추적의 실제 적용 사례를 더 잘 반영할 수 있으며, 이 연구 방향에 대해 새로운 관심을 촉발할 것이라 믿는다.