摘要
自大型语言模型（Large Language Models, LLMs）问世以来，其在自然语言理解（Natural Language Understanding, NLU）与自然语言生成（Natural Language Generation, NLG）领域引发了广泛关注。相比之下，胶囊神经网络（Capsule Neural Networks, CapsNet）的研究成果却在这一热潮中逐渐被忽视。本项目旨在通过重新开启此前被搁置的研究工作，推动对CapsNet潜力的再探索，从而重燃学术界对其的关注。我们开展了一项研究，利用预训练的BERT嵌入（bert-base-uncased）在大规模多语言数据集上，将CapsNet应用于有毒文本分类任务。实验中，CapsNet被用于识别和分类有毒文本内容。通过与DistilBERT、普通神经网络（Vanilla Neural Networks, VNN）以及卷积神经网络（Convolutional Neural Networks, CNN）等主流架构进行性能对比，本研究取得了90.44%的分类准确率。该结果充分展示了CapsNet在文本数据处理方面的优势，并为后续提升其性能提供了新思路，使其有望达到DistilBERT等轻量化模型的水平。