TransRAC: Transformer를 활용한 다중 스케일 시간 상관 관계 인코딩을 통한 반복 동작 카운팅

반복적인 행동을 세는 것은 물리 운동과 같은 인간 활동에서 널리 볼 수 있습니다. 기존 방법들은 주로 짧은 비디오에서 반복적인 행동을 세는데 초점을 맞추고 있어, 더 현실적인 시나리오에서 긴 비디오를 처리하는 데 어려움이 있습니다. 데이터 중심의 시대에 이러한 일반화 능력의 저하가 주로 긴 비디오 데이터셋 부족 때문으로 여겨집니다. 이를 보완하기 위해, 우리는 다양한 비디오 길이와 행동 중단이나 행동 불일치가 발생하는 더 현실적인 상황을 포함한 새로운 대규모 반복 행동 카운팅 데이터셋을 소개합니다. 또한, 단순히 숫자 값으로만 카운팅 주석을 제공하는 것이 아니라, 행동 사이클에 대한 세부 주석도 제공합니다. 이 데이터셋은 약 20,000개의 주석이 있는 1,451개의 비디오를 포함하며, 더욱 도전적입니다. 더 현실적인 시나리오에서 반복적인 행동을 세기 위해, 우리는 성능과 효율성을 모두 고려할 수 있는 트랜스포머를 사용하여 다중 스케일 시간상관관계를 인코딩하는 방법을 제안합니다. 또한, 행동 사이클의 세부 주석 덕분에, 우리는 밀도 맵 회귀 기반 방법을 제안하여 행동 주기를 예측하는데 이는 충분한 해석 가능성을 유지하면서 더 나은 성능을 내어줍니다. 우리 제안 방법은 모든 데이터셋에서 최신 연구 결과보다 우수한 성능을 보였으며, 미세 조정 없이도 미지의 데이터셋에서도 더 나은 성능을 달성했습니다. 데이터셋과 코드는 이용 가능합니다.