潜在预测网络用于代码生成

许多语言生成任务需要根据结构化和非结构化输入生成文本。本文介绍了一种新型神经网络架构，该架构可以根据任意数量的输入函数生成输出序列。重要的是，我们的方法允许对条件上下文的选择以及生成的粒度（例如字符或标记）进行边缘化处理，从而实现可扩展且有效的训练。利用这一框架，我们解决了从混合自然语言和结构化规范生成编程代码的问题。为此，我们创建了两个新的数据集，分别来源于可收集交易卡牌游戏《万智牌》（Magic the Gathering）和《炉石传说》（Hearthstone）。在这些数据集以及第三个已有的语料库上，我们证明了通过边缘化多个预测器可以使我们的模型超越强大的基准模型。