2 个月前
面向可扩展和可靠的胶囊网络以应对具有挑战性的自然语言处理应用
Wei Zhao; Haiyun Peng; Steffen Eger; Erik Cambria; Min Yang

摘要
阻碍胶囊网络在具有挑战性的自然语言处理(NLP)应用中发展的障碍包括对大规模输出空间的较差扩展性和路由过程的可靠性较低。在本文中,我们提出:1) 一种实例级别的路由性能评估指标——一致性评分;2) 一种自适应优化器以增强路由的可靠性;3) 胶囊压缩和部分路由技术以提高胶囊网络的扩展性。我们在两个自然语言处理任务上验证了我们的方法,即多标签文本分类和问答任务。实验结果表明,我们的方法在这两项任务上显著优于强大的竞争对手。此外,在资源有限、训练样本较少的情况下,我们获得了最佳的结果。