
摘要
门控循环单元(Gated Recurrent Unit, GRU)是长短期记忆单元(Long Short-Term Memory, LSTM)的一种最新变体,二者均属于循环神经网络(Recurrent Neural Network, RNN)。通过实证研究,这两种模型在多种机器学习任务中已被证明有效,例如自然语言处理(Wen 等,2015)、语音识别(Chorowski 等,2015)和文本分类(Yang 等,2016)。传统上,像大多数神经网络一样,上述两种 RNN 变体在其最终输出层使用 Softmax 函数进行预测,并使用交叉熵函数计算损失。本文提出了一种改进方法,即在 GRU 模型的最终输出层引入线性支持向量机(Support Vector Machine, SVM)替代 Softmax 函数,并将交叉熵函数替换为基于间隔的损失函数。尽管已有类似的研究(Alalshekmubarak 和 Smith,2013;Tang,2013),本提案主要针对二分类入侵检测任务,使用京都大学蜜罐系统的 2013 年网络流量数据。结果显示,GRU-SVM 模型的性能相对高于传统的 GRU-Softmax 模型。前者达到了约 81.54% 的训练准确率和约 84.15% 的测试准确率,而后者则分别达到了约 63.07% 的训练准确率和约 70.75% 的测试准确率。此外,这两种最终输出层的对比表明,在预测时间上 SVM 超过了 Softmax——这一理论推断得到了实际训练和测试时间的支持。