자동 인코딩 점수 분포 회귀를 이용한 행동 품질 평가

비디오의 동작 품질 평가(AQA)는 비디오와 동작 점수 간의 관계를 모델링하기 어려워 도전적인 시각적 작업입니다. 따라서 AQA는 문헌에서 널리 연구되어 왔습니다. 전통적으로 AQA는 비디오와 동작 점수 간의 잠재적인 매핑을 학습하는 회귀 문제로 다루어졌습니다. 그러나 이전 방법들은 AQA 데이터셋에서의 데이터 불확실성을 무시했습니다. 이러한 알레아토릭 불확실성(aleatoric uncertainty)을 해결하기 위해, 우리는 플러그 앤 플레이 모듈인 분포 오토인코더(Distribution Auto-Encoder, DAE)를 더욱 발전시켰습니다. 구체적으로, 이 모듈은 비디오를 분포로 인코딩하고 변분 오토인코더(Variational Auto-Encoder, VAE)에서 사용되는 재매개변수화 기법(reparameterization trick)을 통해 점수를 샘플링하여, 비디오와 점수 간의 더 정확한 매핑을 설정합니다. 동시에, 가능도 손실(likelihood loss)을 사용하여 불확실성 매개변수를 학습합니다. 우리는 DAE 접근법을 MUSDL과 CoRe에 적용하였습니다. 공개 데이터셋에서의 실험 결과는 우리의 방법이 AQA-7, MTL-AQA, 그리고 JIGSAWS 데이터셋에서 최신 수준(state-of-the-art)의 성능을 달성함을 보여줍니다. 우리의 코드는 https://github.com/InfoX-SEU/DAE-AQA 에서 확인할 수 있습니다.