摘要
神经过程（Neural Processes, NPs）旨在基于给定的上下文数据集，对未见数据点进行随机性补全。NPs本质上利用给定数据集作为上下文表示，以推导出适用于新任务的合适表征。为提升预测精度，众多NPs变体研究了上下文嵌入方法，这些方法通常设计新型网络架构与满足置换不变性的聚合函数。在本工作中，我们提出一种随机注意力机制用于NPs，以有效捕捉适当的上下文信息。从信息论的角度出发，我们证明了所提出的方法能够促使上下文嵌入与目标数据集之间实现有效区分，从而使NPs能够独立地考虑目标数据集中的特征与上下文嵌入信息。实验观察表明，即使在噪声数据集和受限任务分布条件下，该方法仍能准确捕捉上下文嵌入，而传统NPs在此类场景下往往因上下文信息不足而表现不佳。我们在一维回归、捕食者-猎物模型以及图像补全等多个任务中，通过实证验证了所提方法在各类场景下显著优于传统NPs。此外，该方法在MovieLens-10k真实世界数据集上的有效性也得到了进一步验证。