객체는 사라지지 않는다: 단일 프레임 객체 위치 예측을 통한 비디오 객체 검출

비디오에서 객체는 일반적으로 연속적인 부드러운 움직임으로 특징지어집니다. 우리는 이 연속적인 부드러운 움직임을 세 가지 방법으로 활용합니다.1) 객체의 움직임을 추가적인 감독 정보로 사용하여 정확도를 향상시키는 방법입니다. 이를 위해 정적 키프레임에서 객체 위치를 예측합니다.2) 비용이 많이 드는 특성 계산을 모든 프레임 중 일부 작은 집합에만 수행함으로써 효율성을 개선하는 방법입니다. 인접한 비디오 프레임들이 종종 중복되기 때문에, 단일 정적 키프레임에 대해서만 특성을 계산하고 이후 프레임에서 객체 위치를 예측합니다.3) 키프레임 간 부드러운 가상 움직임을 사용하여 주석 비용을 줄이는 방법입니다. 우리는 오직 키프레임만 주석하고, 그 사이의 부드러운 가상 움직임을 활용합니다.우리는 ImageNet VID, EPIC KITCHENS-55, YouTube-BoundingBoxes, 그리고 Waymo Open 데이터셋 등 네 개의 데이터셋에서 최신 기술 대비 계산 효율성, 주석 효율성, 그리고 평균 정밀도(mean average precision)가 개선됨을 보여주었습니다. 우리의 소스 코드는 https://github.com/L-KID/Videoobject-detection-by-location-anticipation 에서 확인할 수 있습니다.