7 天前
AIN:基于近似推理网络的快速且准确的序列标注
Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, Kewei Tu

摘要
线性链条件随机场(Linear-chain Conditional Random Field, CRF)模型是目前最广泛使用的神经序列标注方法之一。在CRF模型的训练与预测阶段,通常采用精确的概率推断算法,如前向-后向算法和维特比(Viterbi)算法。然而,这些算法依赖于串行计算,难以实现并行化。本文提出采用一种可并行化的近似变分推断算法来替代传统方法。基于该算法,我们设计了一种近似推断网络,可与神经CRF模型的编码器相连,构成端到端的网络结构,从而支持并行计算,显著提升训练与预测效率。实验结果表明,所提出的方法在处理长句时,解码速度相比传统CRF方法提升了12.7倍,同时在准确率方面保持了与传统方法相当的性能。