HyperAIHyperAI

Command Palette

Search for a command to run...

时间加权层次聚类在无监督动作分割中的应用

M. Saquib Sarfraz extsuperscript1,7 Naila Murray extsuperscript2 Vivek Sharma extsuperscript1,3,4 Ali Diba extsuperscript5 Luc Van Gool extsuperscript5,6 Rainer Stiefelhagen extsuperscript1

摘要

动作分割是指在视频中推断出语义一致的视觉概念的边界,这是许多视频理解任务的重要需求。对于此类及其他视频理解任务,监督方法已经取得了令人鼓舞的性能,但需要大量的详细帧级注释。我们提出了一种完全自动且无需训练的无监督方法来分割视频中的动作。我们的方法是一种有效的时序加权层次聚类算法,可以将视频中的语义一致帧进行分组。我们的主要发现是,通过考虑时间进展,使用1-最近邻图表示视频就足以形成语义和时序一致的帧簇,每个簇可能代表视频中的某个动作。此外,我们在五个具有挑战性的动作分割数据集上建立了强大的无监督基线,并展示了相对于已发表的无监督方法显著的性能提升。我们的代码可在以下地址获取:https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供