비디오에서 시간적으로 정확하고 세부적인 이벤트를 식별하기

우리는 비디오에서 시간적으로 정확하고 세부적인 이벤트를 감지하는 작업(이벤트가 발생하는 정확한 순간을 감지)을 소개합니다. 정확한 감지는 모델이 행동의 전체 시간 스케일에 대해 전반적으로 추론하고, 이동과 외관의 미묘한 프레임 간 차이를 식별하여 이러한 행동 중 이벤트를 확인해야 함을 요구합니다. 놀랍게도, 우리는 이전의 비디오 이해 작업인 행동 감지 및 분할에서 최고 성능을 보이는 솔루션이 두 가지 요구 사항을 동시에 충족하지 않는다는 것을 발견했습니다. 이를 해결하기 위해, 우리는 E2E-Spot이라는 소형이며 단일 GPU에서도 빠르게 훈련될 수 있는 엔드투엔드 모델을 제안합니다. E2E-Spot은 비디오 행동 감지, 분할 및 스포팅 문헌에서 적응된 최근 기준모델들보다 정확한 스포팅 작업에서 크게 우수한 성능을 보임을 입증하였습니다. 마지막으로, 우리는 여러 개의 세부적인 스포츠 행동 데이터셋에 새로운 주석과 분리를 제공하여 앞으로의 정확한 스포팅 연구에 적합하도록 만들었습니다.