2 个月前

基于上下文和非上下文子词表示的序列标注:多语言评估

Benjamin Heinzerling; Michael Strube
基于上下文和非上下文子词表示的序列标注:多语言评估
摘要

预训练的上下文相关和非上下文相关的子词嵌入已经在超过250种语言中可用,这使得大规模多语言自然语言处理(NLP)成为可能。然而,尽管预训练嵌入资源丰富,但缺乏系统的评估使得实践者在选择时面临困难。在这项工作中,我们进行了广泛的评估,比较了非上下文相关的子词嵌入方法——FastText和BPEmb,以及一种上下文表示方法——BERT,在多语言命名实体识别和词性标注任务上的表现。我们发现,总体而言,结合BERT、BPEmb和字符表示的方法在不同语言和任务中表现最佳。更详细的分析揭示了这些方法的不同优势和劣势:多语言BERT在中高资源语言中的表现良好,但在低资源设置下则不如非上下文相关的子词嵌入方法。