객체 추적은 비디오 시퀀스 내에 등장하는 특정 객체의 특성이나 변화를 관찰하면서 그 객체를 추적하는 기술이다. 최근에는 시아메스 네트워크(Siamese network)를 객체 추적 분야에 적용함으로써 높은 성능을 보이는 많은 알고리즘이 등장하고 있다. 시아메스 네트워크는 두 이미지 간의 유사성을 학습하도록 설계된 네트워크이다. 객체 추적에서 시아메스 네트워크는 검색 이미지 내에서 타겟 이미지와 가장 유사한 위치를 찾아 객체를 추적한다. 그러나 시아메스 기반 알고리즘은 객체의 부분적 또는 전면적 가림(occlusion)에 취약하다. 또한, 첫 번째 프레임의 정답 경계상자(ground-truth bounding box)를 이용해 얻은 이미지와의 유사성만을 기반으로 객체를 추적하기 때문에, 한 번이라도 객체를 놓치게 되면 오류가 누적되며, 객체가 관심 대상에서 벗어나는 드리프트(drift) 현상이 자주 발생한다. 따라서 본 논문에서는 객체의 부분적 및 전면적 가림 이후 추적 성공에 대한 보상(reward)을 최대화할 수 있도록 설계된 강화학습 모델을 제안한다. 또한, 최근 프레임에서 성공적으로 추적된 템플릿을 활용하여 동적으로 템플릿을 교체하는 방법을 제안함으로써 드리프트 문제를 해결하고자 한다. 제안된 모델을 기존 추적 모델에 적용하여 VOT2018과 OTB50와 같은 대표적인 객체 추적 벤치마크에서 정량적 성능을 평가한 결과, 기존 방법에 비해 정확도가 향상되고 추적 실패 횟수가 감소함을 확인하였다. 그 결과, VOT2018에서는 정확도(accuracy) 0.618, 강건성(robustness) 0.234, 기대 평균 겹침률(Expected Average Overlap, EAO) 0.416을 달성하였으며, OTB50에서는 성공률(success) 0.673과 정밀도(precision) 0.881을 기록하였다.