8 天前

ColBERT:在并行神经网络中使用BERT句子嵌入进行计算幽默研究

Issa Annamoradnejad, Gohar Zoghi
ColBERT:在并行神经网络中使用BERT句子嵌入进行计算幽默研究
摘要

幽默检测与评分的自动化在现代技术中具有广泛的应用前景,例如人形机器人、聊天机器人及虚拟助手等场景。本文提出了一种基于主流幽默语言学理论的新型方法,用于短文本中的幽默检测与评分。该技术方法首先将输入文本中的句子进行分割,并利用BERT模型为每个句子生成嵌入表示(embeddings)。随后,这些嵌入被分别输入神经网络中独立的隐藏层(每个句子对应一条处理路径),以提取潜在语义特征。最后,各路径的输出结果并行连接,用于分析句子间的语义一致性及其他语义关系,并据此预测目标值。为支持本研究,我们构建了一个全新的幽默检测数据集,包含20万条正式短文本。除了在该新数据集上对方法进行评估外,我们还参与了一场聚焦于西班牙语推文幽默评分的实时机器学习竞赛。实验结果表明,所提出的模型在幽默检测任务中分别取得了0.982和0.869的F1分数,显著优于通用模型及当前最先进的模型。在两种对比性实验设置下的评估结果进一步验证了该模型的性能优势与鲁棒性,同时揭示了实现高精度幽默识别的两个关键因素:其一,采用句子级嵌入表示;其二,在模型设计中充分融入幽默的语言结构特征。

ColBERT:在并行神经网络中使用BERT句子嵌入进行计算幽默研究 | 最新论文 | HyperAI超神经