2 个月前
RICA2:基于评分标准的校准行动评估
Majeedi, Abrar ; Gajjala, Viswanatha Reddy ; GNVV, Satya Sai Srinath Namburi ; Li, Yin

摘要
量化某一动作执行的好坏程度,即动作质量评估(Action Quality Assessment, AQA),近年来在视觉研究领域引起了广泛关注。不幸的是,先前的方法往往忽略了人类专家使用的评分标准,并且未能充分量化模型预测的不确定性。为了弥合这一差距,我们提出了一种深度概率模型——RICA^2,该模型集成了评分标准并考虑了预测的不确定性,用于AQA。我们的方法的核心在于对动作步骤进行随机嵌入,这些嵌入定义在一个编码了评分标准的图结构上。通过在潜在空间中扩散概率密度,这些嵌入使我们的方法能够表示模型的不确定性。图结构编码了评分准则,基于此准则可以解码出质量分数。我们展示了该方法在多个公开基准数据集上建立了新的最先进水平,包括FineDiving、MTL-AQA和JIGSAWS,在分数预测和不确定性校准方面表现出色。我们的代码可在以下网址获取:https://abrarmajeedi.github.io/rica2_aqa/