一句话总结

作者提出了一种新颖的流水线架构，并对十二种机器学习文本分类器在公开垃圾邮件语料库上的表现进行了对比分析。该研究将基于自然语言处理的预处理步骤与系统化的超参数调优相结合，在优化 F 分数、精确率、召回率和运行时间的同时，有效应对了分类激进程度之间的关键权衡问题。

核心贡献

• 该研究在公开垃圾邮件语料库上评估了十二种机器学习文本分类器，量化了不同特征维度和超参数对分类性能的影响。
• 引入了一种结合特定自然语言处理技术的预处理流水线，以优化超参数选择，并在 F 分数、精确率、召回率和运行时间指标上提升模型精度。
• 该工作提供了分类结果的统计分析，并提供了一个可适配的 Python 脚本，以便应用于各类垃圾邮件检测数据集。

引言

基于文本的通信支撑着现代商业运营，但常被用于恶意垃圾邮件，因此强大的文本分类技术对数字安全与数据保护至关重要。先前的研究已广泛测试了朴素贝叶斯、支持向量机和神经网络等分类器，但许多研究存在预处理流程不统一、超参数选择随意以及模型可解释性有限等问题，阻碍了其在实际场景中的可靠部署。作者通过引入一种标准化流水线来解决这些不足，该流水线将自然语言处理技术与系统化的超参数优化相结合，用于评估十二种机器学习分类器。研究进一步采用统计检验与可解释性工具验证该方法，以量化特征重要性及分类驱动因素，最终交付了一个可复现的框架，在 Enron 数据集上实现了出色的垃圾邮件过滤性能。

数据集

• 数据集来源与构成： 作者使用 Enron 垃圾邮件语料库，该语料库原始包含 17,171 封垃圾邮件和 16,545 封正常邮件。为防止类别不平衡，通过随机抽取 16,545 封垃圾邮件将语料库重采样至 0.5 的比例，使两类数据量完全相等。

• 子集规模与划分： 平衡后的数据集被划分为 70% 的训练集和 30% 的测试集。两个子集均保留了重采样阶段建立的正常邮件与垃圾邮件的相等比例。

• 数据使用与混合： 作者直接将平衡后的 0.5 比例数据应用于二分类任务。70/30 的训练测试划分用于模型输入，同时在两个阶段均保持原始类别分布。

• 处理与特征构建： 团队从仍包含 HTML 标签和停用词的预处理邮件开始，过滤掉单个字母、数字以及“subject”、“cc”、“to”和“Enron”等通用邮件头。随后应用词形还原以规范化词形。最后，提取最高频词汇构建固定词典，并将每封邮件转换为二进制向量矩阵。矩阵中的 1 表示词典中存在该词，此过程类似于 Word2Vec 风格的编码，随后将数据输入分类器。

方法

本文提出的分类流水线划分为六个主要阶段，构成了一个使用多样化机器学习模型进行文本分类的综合框架。流程始于选择 Enron 数据集，这是一个文档详实且频繁用于文本分类研究的语料库，作为文本数据的来源。随后，数据集被划分为训练集和测试集子集，采用标准的 70% 与 30% 比例分别分配给训练集和测试集。该划分确保了模型在未见数据上性能的稳健评估。

请参阅框架图表以获取整个流程的可视化概览。下一阶段涉及数据预处理，在此阶段对文本数据应用降噪技术。这包括去除停用词、词形还原以及消除 HTML 标签，所有步骤均旨在提升分类所用特征的质量与相关性。这些步骤对于降低维度以及减轻无关或冗余信息对模型性能的影响至关重要。

预处理完成后，提取特征以构建词典，并为训练集和测试集生成特征矩阵。此步骤将文本数据转换为适合机器学习算法的数值格式，通常通过词袋模型或 TF-IDF 向量化等方法实现。生成的特征矩阵随后用于拟合和评估十二种不同的监督机器学习分类器。这些模型包括朴素贝叶斯变体（多项式、高斯和伯努利）、带有线性、多项式和径向基函数核的支持向量机（SVM）、采用暴力搜索、球树和 KD 树实现的 k 近邻（kNN）、多层感知机神经网络（MPNN）、逻辑回归、随机森林以及极限梯度提升（XGBoost）。每个模型均采用其独特的数学公式与优化策略，从训练数据中学习模式并生成预测。

流水线的最后阶段涉及对分类结果的统计分析及其解释。这包括应用统计模型评估结果的显著性，并提供关于各类分类器性能与行为的洞察。该框架旨在支持对十二种模型进行系统对比，从而在文本分类任务背景下全面评估其优势与劣势。

实验

评估设置采用分层交叉验证在 Enron 垃圾邮件语料库上测试十二种机器学习分类器，并辅以专项实验验证特征选择、超参数调优和预处理步骤对模型精度与效率的影响。对比分析证实，集成方法提供最强的预测能力，而神经网络与线性架构具备更优的计算速度，统计检验则验证了不同算法间存在显著的性能差异。可解释性研究进一步表明，每种模型均利用独特的语言线索进行垃圾邮件检测，强调了算法选择需与领域特定的文本特征相匹配的必要性。最终，研究结果强调，系统化的预处理与审慎的超参数优化对于在多样化机器学习框架中最大化分类性能至关重要。

该实验使用 Enron 数据集评估多种用于垃圾邮件分类的机器学习模型，重点关注 F 分数、运行时间和 ROC 曲线等性能指标。结果显示，随机森林和极限梯度提升等模型在相对较短的预测时间内实现了高准确率，而多层感知机神经网络等模型则在速度与一致性方面表现出强劲性能。研究还突出了超参数调优与预处理步骤对模型有效性的影响。随机森林和极限梯度提升获得了较高的 F 分数与具有竞争力的运行时间，表明其整体性能强劲。多层感知机神经网络在表现优异的模型中展现出一致的准确率与最短的预测时间。预处理步骤显著提升了模型性能，部分分类器的 F 分数提升超过两倍。

作者使用 ROC 曲线评估多种用于垃圾邮件分类的机器学习模型以比较其性能。结果显示，部分模型实现了较高的平均 AUC 值，其中一些在交叉验证折间表现稳定，而另一些则表现出较大的波动性。分析突出了模型行为的差异，特别是可解释性方法所揭示的模型对特定特征的响应方式。XGBoost 与随机森林实现了较高的平均 AUC 值，且在交叉验证折间波动极小。多项式 SVM 显示出最低的平均 AUC 值与最大的折间波动性，表明其性能较差且不稳定。ROC 曲线表明，伯努利朴素贝叶斯与多层感知机神经网络等模型的性能持续强劲，在交叉验证折间均保持高真正率与低假正率。

作者对比了多种用于垃圾邮件检测的机器学习分类器，基于精确率、召回率、F 分数和预测时间评估其性能。结果显示，随机森林与 XGBoost 取得了最高的 F 分数，而逻辑回归展现出最快的预测时间。该表格突出显示了分类器性能之间的显著差异，特别是在召回率与 F 分数方面，部分模型如径向基函数 SVM 与多项式 SVM 表现出明显较低的性能。随机森林与 XGBoost 取得了最高的 F 分数。逻辑回归在预测时间方面是最快的分类器。径向基函数 SVM 与多项式 SVM 在召回率和 F 分数上表现出显著较低的性能。

作者使用包括 F 分数、运行时间和 AUC-ROC 在内的多项指标对比了十二种用于垃圾邮件分类的机器学习模型的性能。分析指出，XGBoost 与随机森林等模型实现了较高的 F 分数且统计差异极小，而多层感知机神经网络等模型速度更快但准确率略低。研究通过 SHAP 值探索模型可解释性，揭示了不同模型如何依赖不同的特征进行分类。预处理步骤显著提升了大多数模型的性能。XGBoost 与随机森林取得了最高的 F 分数且统计差异极小，而多层感知机神经网络速度更快但准确率略低。SHAP 分析表明，不同模型依赖不同的特征，其中 XGBoost 侧重于垃圾邮件专属词汇，而随机森林侧重于通用邮件词汇。预处理步骤使大多数模型的 F 分数获得显著提升，证明了其在文本分类中的重要性。

实验在 Enron 数据集上评估了多种用于垃圾邮件检测的机器学习分类器，验证了其在交叉验证折间的预测准确率、计算效率与特征可解释性。基于树的集成方法始终提供最为稳健且稳定的分类性能，而神经网络架构则提供更快的推理速度，仅伴随轻微的性能损耗。系统化的数据预处理大幅增强了整体模型有效性，且可解释性分析证实，高性能分类器利用了针对垃圾邮件检测量身定制的独特语言模式。