ALERT-Transformer：面向实时事件驱动时空数据的异步与同步机器学习融合框架

我们旨在实现对事件传感器生成的连续超稀疏时空数据的经典处理，使其能够与密集型机器学习模型兼容。为此，我们提出了一种新颖的混合处理流程，该流程结合了异步感知与同步处理的思想，包含以下三个核心设计：（1）基于PointNet架构的嵌入模块——ALERT模块，其通过引入泄漏机制（leakage mechanism），能够持续融合新事件并逐步淘汰旧事件，从而实现对动态事件流的连续建模；（2）一种灵活的读出机制，可将嵌入后的数据以任意采样率持续输出最新特征，无缝适配各类下游模型；（3）受视觉Transformer（Vision Transformer）启发，采用基于局部块（patch-based）的处理策略，充分利用输入数据的稀疏性，显著提升方法的整体计算效率。上述嵌入特征随后由一个针对目标识别与手势识别任务训练的Transformer模型进行处理。实验结果表明，该方法在性能上达到当前最先进水平，同时相比现有方法具有更低的延迟。此外，我们还验证了所提出的异步模型可在任意期望的采样率下稳定运行，展现出高度的灵活性与适应性。