16 天前

卡内基梅隆大学 METAL 波斯语 NLP 方法

{Mehdi Manshadi, Weston Feely, Lori Levin, Robert Frederking}
摘要

尽管针对英语等主流语言已有大量高质量的自然语言处理工具,但针对重要却资源匮乏的语言(如波斯语)而言,获取并集成功能完善的免费工具仍面临较大挑战。本文报告了一种我们构建的准确且高效的波斯语分析前端系统,可供希望处理书面波斯语的研究者参考与使用。该系统整合了若干现有组件与资源,包括基于Dadegan句法树库(Rasooli et al., 2013)训练的卡内基梅隆大学TurboParser与TurboTagger(Martins et al., 2010)、乌普萨拉大学开发的波斯语文本规范化工具PrePer(Seraji, 2013)、乌普萨拉大学的波斯语分词器(Seraji et al., 2012a),以及Jon Dehdari团队开发的PerStem词干提取工具(Jadidinejad et al., 2010)。在此基础上,我们还自主开发并公开了若干额外的文本规范化与分词模块。该系统在独立的句法分析测试集上取得了89.49%的依存句法标注依附率(labeled attachment score)、92.19%的无标注依附率(unlabeled attachment score)以及91.38%的标注准确率(label accuracy score)。所有所用组件与资源均免费开放获取。本文不仅详细介绍了各组件及其功能,还阐述了我们选择这些工具的技术依据与设计考量。

卡内基梅隆大学 METAL 波斯语 NLP 方法 | 最新论文 | HyperAI超神经