2달 전
RICA2: Rubric-Informed, Calibrated Assessment of Actions RICA2: 루브릭 기반, 교정된 행동 평가
Majeedi, Abrar ; Gajjala, Viswanatha Reddy ; GNVV, Satya Sai Srinath Namburi ; Li, Yin

초록
행동의 수행 정도를 정량화하는 능력, 즉 행동 품질 평가 (Action Quality Assessment, AQA)는 최근 시각 연구 분야에서 큰 관심을 받고 있습니다. 그러나 기존 방법들은 종종 인간 전문가들이 사용하는 점수 척도를 무시하고 모델 예측의 불확실성을 정량화하는 데 부족한 경우가 많습니다. 이러한 격차를 메우기 위해, 우리는 점수 척도를 통합하고 예측 불확실성을 고려한 깊은 확률적 모델인 RICA^2를 제시합니다.우리 방법의 핵심은 점수 척도를 인코딩하는 그래프 구조 상에서 정의된 행동 단계의 확률적 임베딩에 있습니다. 이 임베딩은 잠재 공간에서 확률 밀도를 퍼뜨리며, 이를 통해 우리의 방법이 모델 불확실성을 표현할 수 있습니다. 그래프는 점수 기준을 인코딩하며, 이 기준에 따라 품질 점수가 디코딩될 수 있습니다. 우리는 FineDiving, MTL-AQA, JIGSAWS 등의 공개 벤치마크에서 새로운 최고 성능을 달성함을 보여주며, 점수 예측과 불확실성 캘리브레이션 면에서 우수한 성능을 발휘합니다. 우리의 코드는 https://abrarmajeedi.github.io/rica2_aqa/ 에서 확인할 수 있습니다.