2 个月前

层次化神经符号方法用于全面且可解释的动作质量评估

Okamoto, Lauren ; Parmar, Paritosh
层次化神经符号方法用于全面且可解释的动作质量评估
摘要

动作质量评估(AQA)利用计算机视觉技术对人类动作的执行情况进行定量评估。目前的AQA方法大多采用端到端的神经模型,这些模型缺乏透明度,并且由于训练时使用了主观的人类评价作为真实标签,容易产生偏差。为了解决这些问题,我们引入了一种用于AQA的神经符号范式,该范式通过神经网络从视频数据中抽象出可解释的符号,并通过应用规则对这些符号进行质量评估。我们以跳水为例进行了研究。结果表明,领域专家更倾向于我们的系统,并认为它比纯粹基于神经网络的方法在跳水AQA方面更具信息量。我们的系统不仅实现了最先进的动作识别和时间分割,还能自动生成详细的报告,将跳水分解为其各个要素,并提供带有视觉证据的客观评分。经一组领域专家验证,该报告可用于辅助裁判评分、帮助培训裁判以及为跳水运动员提供反馈。注释训练数据和代码:https://github.com/laurenok24/NSAQA。