15 天前

基于循环膨胀卷积神经网络的长序列数据分类

Lei Cheng, Ruslan Khalitov, Tong Yu, Zhirong Yang
基于循环膨胀卷积神经网络的长序列数据分类
摘要

长序列数据的分类是机器学习中一项重要任务,广泛应用于多种实际场景。目前,循环神经网络(Recurrent Neural Networks, RNNs)、Transformer 以及卷积神经网络(Convolutional Neural Networks, CNNs)是处理序列数据的三大主流技术。在这些方法中,时间卷积网络(Temporal Convolutional Networks, TCNs)因其对超长序列具有良好的可扩展性,在时间序列回归任务中取得了显著进展。然而,TCNs 在序列分类任务中的表现尚不理想,主要原因在于其采用非对称的连接机制,并仅在序列末尾位置输出分类结果。这种结构上的不对称性限制了其在分类任务中的性能,因为分类性能依赖于对整个序列信息的充分建模。针对上述问题,本文提出一种对称的多尺度架构——循环稀疏卷积神经网络(Circular Dilated Convolutional Neural Network, CDIL-CNN)。该模型通过设计对称的连接方式,使得每一时刻的位置在前序层中均能平等地接收来自其他位置的信息。此外,CDIL-CNN 在序列的每个位置均输出分类 logits,从而支持通过简单的集成学习(ensemble learning)策略实现更优的分类决策。我们在多个长序列数据集上对 CDIL-CNN 进行了实验验证。结果表明,该方法在分类性能上显著优于多种当前先进的主流方法,展现出卓越的泛化能力与稳定性。