摘要
尽管监督学习在许多应用中取得了巨大进展，但无监督学习尚未得到如此广泛的采用，仍然是人工智能领域的一个重要且具有挑战性的课题。在这项工作中，我们提出了一种从高维数据中提取有用表示的通用无监督学习方法，称为对比预测编码（Contrastive Predictive Coding）。我们的模型的关键在于通过使用强大的自回归模型来预测潜在空间中的未来状态，从而学习这些表示。我们采用了一种概率对比损失函数，该函数促使潜在空间捕获对未来样本预测最有用的信息。同时，通过负采样使得模型变得可计算。虽然大多数先前的研究主要集中在评估特定模态的表示上，但我们证明了我们的方法能够在四个不同的领域中学习到有用的表示并取得优异的性能：语音、图像、文本和三维环境中的强化学习。