2달 전

가중 집계를 사용한 행동 품질 평가 개선

Farabi, Shafkat ; Himel, Hasibul ; Gazzali, Fakhruddin ; Hasan, Md. Bakhtiar ; Kabir, Md. Hasanul ; Farazi, Moshiur
가중 집계를 사용한 행동 품질 평가 개선
초록

행동 품질 평가(AQA)는 해당 행동의 동영상을 기반으로 인간 행동을 자동으로 판단하고 성능 점수를 부여하는 것을 목표로 합니다. 기존 문헌에서 AQA에 대한 대부분의 연구는 RGB 동영상을 짧은 클립으로 나누고, 이러한 클립을 Convolutional 3D (C3D) 네트워크를 사용하여 고차원 표현으로 변환한 후, 평균화를 통해 집계합니다. 이러한 고차원 표현은 AQA 수행에 사용됩니다. 우리는 현재 클립 수준 특징 집계 기술인 평균화가 클립 수준 특징의 상대적인 중요성을 포착하기에 충분하지 않다고 판단하였습니다. 본 연구에서는 학습 기반 가중 평균화 기술을 제안합니다. 이 기술을 사용하면 계산 자원을 크게 희생하지 않고 더 우수한 성능을 얻을 수 있습니다. 이 기술을 Weight-Decider(WD)라고 명명하였습니다. 또한, ResNets를 활용하여 행동 품질 평가에 더 나은 표현을 학습하는 실험도 수행하였습니다. 우리는 컨벌루션 신경망(CNN)의 깊이와 입력 클립 크기가 행동 점수 예측의 품질에 미치는 영향을 평가하였습니다. 34층 (2+1)D ResNet과 32프레임 클립 처리 능력을 갖춘 WD 집계 방식을 사용하여 MTL-AQA 데이터셋에서 새로운 최고 수준의 스피어만 순위 상관계수 0.9315(0.45% 증가)를 달성하였습니다.