9 天前

通过建模抽象目标预测下一步动作

Debaditya Roy, Basura Fernando
通过建模抽象目标预测下一步动作
摘要

人类行为预测本质上是一个充满不确定性的任务。然而,如果我们能够了解行为执行者试图达成的目标,便可以在一定程度上降低这种不确定性。本文提出一种行为预测模型,通过利用目标信息来减少未来行为预测中的不确定性。由于在推理阶段我们无法直接获取目标信息或已观测到的行为,因此我们转而采用视觉表征来整合关于行为与目标的双重信息。基于此,我们引入了一个新颖的概念——抽象目标(abstract goal),该概念基于观测到的视觉特征序列,用于指导行为预测。我们将抽象目标建模为一个概率分布,其参数通过变分循环网络(variational recurrent network)进行估计。随后,我们对下一个行为生成多个候选动作,并引入一种目标一致性度量(goal consistency measure),以筛选出最符合抽象目标的最优候选动作。在极具挑战性的Epic-Kitchens55(EK55)、EK100以及EGTEA Gaze+数据集上,本方法取得了显著的性能提升。在EK55数据集的“已见厨房”(S1)设置下,相较于先前的最先进方法,本方法在Top-1动词、Top-1名词和Top-1行为预测准确率上分别实现了+13.69、+11.24和+5.19的绝对性能提升。在“未见厨房”(S2)设置下,同样取得了显著改进,Top-1动词、名词和行为预测准确率分别提升+10.75、+5.84和+2.87。在EGTEA Gaze+数据集上也呈现出相似的趋势,名词、动词和行为预测的准确率分别获得+9.9、+13.1和+6.8的绝对提升。本方法已提交至相关竞赛平台,目前在EK55和EGTEA Gaze+数据集上的行为预测任务中已达到新的最先进水平(state-of-the-art)。相关代码已开源,地址为:https://github.com/debadityaroy/Abstract_Goal。更多结果详见竞赛页面:https://competitions.codalab.org/competitions/20071#results。