摘要
本文提出X3D，一个高效视频网络家族，该架构通过在空间、时间、宽度和深度等多个网络维度上逐步扩展一个极小的2D图像分类网络，实现性能优化。受机器学习中特征选择方法的启发，本文采用一种简单而有效的分步网络扩展策略：每一步仅扩展一个网络维度，从而在准确率与计算复杂度之间实现优异的平衡。为将X3D扩展至特定目标复杂度，我们采用“逐步前向扩展+反向收缩”的策略。实验结果表明，X3D在达到与先前工作相当的准确率时，所需的乘加操作次数减少4.8倍，参数量减少5.5倍，性能达到当前最优水平。最令人意外的发现是：尽管网络宽度和参数量极低，但具备高时空分辨率的网络仍能表现出色。在视频分类与检测基准测试中，X3D实现了前所未有的高效性与竞争力的准确率。代码将公开于：https://github.com/facebookresearch/SlowFast