HyperAIHyperAI

Command Palette

Search for a command to run...

基于时间戳监督的时序动作分割

Zhe Li Yazan Abu Farha Juergen Gall

摘要

近年来,时序动作分割(Temporal Action Segmentation)方法取得了显著进展。然而,为了训练此类模型,需对视频进行逐帧标注,这一过程成本高昂且耗时。尽管仅使用有序动作列表进行弱监督训练的方法可显著降低标注成本,但其性能仍不及完全监督方法。本文提出采用时间戳(timestamp)监督来解决该问题。时间戳标注所需的标注工作量与弱监督方法相当,但能提供更丰富的监督信号。为验证时间戳监督的有效性,我们提出一种仅依赖时间戳标注训练分割模型的方法。该方法利用模型输出与标注的时间戳,通过检测动作变化点来生成逐帧标签。此外,我们引入一种置信度损失(confidence loss),强制模型预测的概率随与时间戳距离的增加而单调递减。这一机制确保在训练过程中,不仅学习到动作中最显著的帧,还能充分学习到所有相关帧的信息。在四个数据集上的实验结果表明,使用时间戳标注训练的模型性能可与完全监督方法相媲美。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供