2 个月前

基于秩空间的动态规划:利用低秩HMM和PCFG扩展结构化推理

Songlin Yang; Wei Liu; Kewei Tu
基于秩空间的动态规划:利用低秩HMM和PCFG扩展结构化推理
摘要

隐马尔可夫模型(HMMs)和概率上下文无关文法(PCFGs)是广泛使用的结构化模型,这两种模型都可以表示为因子图文法(FGGs),这是一种强大的形式化方法,能够描述广泛的模型。近期的研究发现,对于HMMs和PCFGs使用较大的状态空间是有益的。然而,使用较大状态空间进行推理在计算上非常耗时,尤其是对于PCFGs而言。为了应对这一挑战,我们利用张量秩分解(即CPD)来降低部分包含HMMs和PCFGs的FGGs的推理计算复杂度。我们对FGG的因子应用CPD,然后在秩空间中构建一个新的FGG。使用新的FGG进行推理可以产生相同的结果,但在秩大小小于状态大小时具有更低的时间复杂度。我们在HMM语言建模和无监督PCFG解析任务上进行了实验,结果表明其性能优于以往的工作。我们的代码已公开发布在\url{https://github.com/VPeterV/RankSpace-Models}。