当强大的骨干网络遇见强大的特征——基于ActionFormer的Ego4D时刻查询挑战解决方案

本报告介绍了我们参与2022年Ego4D时刻查询挑战赛（Ego4D Moment Queries Challenge 2022）的提交方案。我们的方法基于当前最先进的时序动作定位主干网络ActionFormer，并融合了来自SlowFast、Omnivore和EgoVLP的三类强视频特征。在公开排行榜上，我们的方案取得第二名的成绩，测试集上的平均mAP达到21.76%，较官方基线模型提升近三倍。此外，在测试集上，我们实现了tIoU=0.5时的Recall@1x为42.54%，相比排名第一的方案高出1.41个百分点的绝对性能优势。相关代码已开源，地址为：https://github.com/happyharrycn/actionformer_release。