HyperAIHyperAI

Command Palette

Search for a command to run...

卡内基梅隆大学 METAL 波斯语 NLP 方法

Mehdi Manshadi Weston Feely Lori Levin Robert Frederking

摘要

尽管针对英语等主流语言已有大量高质量的自然语言处理工具,但针对重要却资源匮乏的语言(如波斯语)而言,获取并集成功能完善的免费工具仍面临较大挑战。本文报告了一种我们构建的准确且高效的波斯语分析前端系统,可供希望处理书面波斯语的研究者参考与使用。该系统整合了若干现有组件与资源,包括基于Dadegan句法树库(Rasooli et al., 2013)训练的卡内基梅隆大学TurboParser与TurboTagger(Martins et al., 2010)、乌普萨拉大学开发的波斯语文本规范化工具PrePer(Seraji, 2013)、乌普萨拉大学的波斯语分词器(Seraji et al., 2012a),以及Jon Dehdari团队开发的PerStem词干提取工具(Jadidinejad et al., 2010)。在此基础上,我们还自主开发并公开了若干额外的文本规范化与分词模块。该系统在独立的句法分析测试集上取得了89.49%的依存句法标注依附率(labeled attachment score)、92.19%的无标注依附率(unlabeled attachment score)以及91.38%的标注准确率(label accuracy score)。所有所用组件与资源均免费开放获取。本文不仅详细介绍了各组件及其功能,还阐述了我们选择这些工具的技术依据与设计考量。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供