掩码事件建模：面向事件相机的自监督预训练

事件相机以低延迟、高时间分辨率和高动态范围异步捕捉亮度变化，然而事件数据的标注过程成本高昂且耗时，严重制约了深度学习方法在事件模态下的分类及其他语义任务中的应用。为降低对标注事件数据的依赖，我们提出了一种自监督框架——掩码事件建模（Masked Event Modeling, MEM）。该方法在未标注的事件数据上预训练神经网络，这些数据可来自任意事件相机的录制。随后，将预训练模型在下游任务上进行微调，显著提升了任务的准确率。例如，在N-ImageNet、N-Cars和N-Caltech101三个数据集上，我们的方法均达到了当前最优的分类性能，较此前工作显著提升了Top-1准确率。在真实世界事件数据上的测试表明，MEM的表现甚至优于基于监督学习的RGB图像预训练方法。此外，经MEM预训练的模型在标签效率方面表现出色，且在语义图像分割这一密集预测任务中具有良好的泛化能力。