2 个月前
InternVideo-Ego4D：应对Ego4D挑战的一系列冠军解决方案
Chen, Guo ; Xing, Sen ; Chen, Zhe ; Wang, Yi ; Li, Kunchang ; Li, Yizhuo ; Liu, Yi ; Wang, Jiahao ; Zheng, Yin-Dong ; Huang, Bingkun ; Zhao, Zhiyu ; Pan, Junting ; Huang, Yifei ; Wang, Zun ; Yu, Jiashuo ; He, Yinan ; Zhang, Hongjie ; Lu, Tong ; Wang, Yali ; Wang, Limin ; Qiao, Yu
摘要
在本报告中，我们介绍了在Ego4D挑战赛中五个赛道的冠军解决方案。我们利用开发的InternVideo视频基础模型，针对包括时刻查询（Moment Queries）、自然语言查询（Natural Language Queries）、未来手部预测（Future Hand Prediction）、状态变化物体检测（State Change Object Detection）和短期物体交互预测（Short-term Object Interaction Anticipation）在内的五项Ego4D任务进行了研究。InternVideo-Ego4D是一种有效的范式，通过简单的头部设计将强大的基础模型适应于下游以自我为中心的视频理解任务。在这五项任务中，InternVideo-Ego4D的表现全面超越了基线方法和CVPR2022的冠军方案，展示了InternVideo作为视频基础模型的强大表示能力。我们的代码将在https://github.com/OpenGVLab/ego4d-eccv2022-solutions 上发布。