2 个月前

原型交叉注意力网络在多目标跟踪与分割中的应用

Ke, Lei ; Li, Xia ; Danelljan, Martin ; Tai, Yu-Wing ; Tang, Chi-Keung ; Yu, Fisher
原型交叉注意力网络在多目标跟踪与分割中的应用
摘要

多目标跟踪与分割需要检测、跟踪并分割属于给定类别的多个对象。大多数方法仅利用时间维度来解决关联问题,而依赖单帧预测来进行分割掩码的生成。我们提出了一种原型交叉注意力网络(Prototypical Cross-Attention Network, PCAN),该网络能够在线利用丰富的时空信息进行多目标跟踪与分割。PCAN首先将时空记忆提炼为一组原型,然后通过交叉注意力从过去的帧中检索丰富信息。为了分割每个对象,PCAN采用了一个原型外观模块来学习一组对比性的前景和背景原型,并将其在时间上进行传播。广泛的实验表明,PCAN在YouTube-VIS和BDD100K数据集上均优于当前视频实例跟踪和分割竞赛的获胜者,并且对单阶段和两阶段分割框架都显示出有效性。代码和视频资源可访问 http://vis.xyz/pub/pcan 获取。