基于Transformer模型的词义消歧

本文致力于解决词义消歧（Word Sense Disambiguation, WSD）任务。我们介绍了提交至IJCAI 2020会议期间举办的SemDeep研讨会中的“词在上下文中的目标词义验证”（Word-in-Context Target Sense Verification）挑战赛的系统方案（Breit et al., 2020）。该挑战要求参赛者判断文本中某一词语的特定指代是否与预先定义的词义相匹配。我们的方法基于预训练的Transformer模型（如BERT），并通过采用不同的架构策略在该任务上进行微调。在子任务1（即利用词义定义来判断上下文中目标词是否对应给定词义）中，我们的模型取得了最佳的准确率与精确率。我们认为，本次挑战赛中所探索的策略对其他自然语言处理任务亦具有参考与应用价值。