2달 전
그룹 인식 대조 회귀를 이용한 행동 품질 평가
Yu, Xumin ; Rao, Yongming ; Zhao, Wenliang ; Lu, Jiwen ; Zhou, Jie

초록
행동 품질 평가는 비디오 간의 미묘한 차이와 점수의 큰 변동성 때문에 어려움을 겪습니다. 기존의 대부분 접근 방식은 단일 비디오에서 품질 점수를 회귀하는 방법으로 이 문제를 해결하려고 하지만, 비디오 간의 큰 점수 변동성으로 인해 많은 제약을 받습니다. 본 논문에서는 행동 품질 평가 과정에서 학습과 추론 모두에 있어 더 정확한 평가를 위해 비디오들 사이의 관계가 중요한 단서를 제공할 수 있음을 보입니다. 구체적으로, 공유된 속성을 가진 다른 비디오(예: 카테고리와 난이도)를 기준으로 상대적인 점수를 회귀하는 문제로 행동 품질 평가 문제를 재구성합니다. 이는 무참조 점수를 학습하는 대신 쌍별 비교로 상대적인 점수를 학습하는 새로운 대조적 회귀(Contrastive Regression, CoRe) 프레임워크를 제안합니다. CoRe는 비디오 간의 차이점을 강조하여 모델이 평가에 필요한 주요 단서를 학습하도록 안내합니다. 두 비디오 사이의 상대 정보를 더욱 활용하기 위해, 우리는 전통적인 점수 회귀를 두 개의 더 쉬운 하위 문제인 거칠기-세밀 분류와 작은 구간 내 회귀로 전환시키는 그룹 인식 회귀 트리를 설계했습니다. CoRe의 효과성을 입증하기 위해, AQA-7, MTL-AQA 및 JIGSAWS 등 세 가지 주요 AQA 데이터셋에서 광범위한 실험을 수행했습니다. 우리의 접근 방식은 이전 방법들을 크게 능가하며, 모든 세 벤치마크에서 새로운 최상의 성능(SOTA)을 달성하였습니다.