HyperAIHyperAI

Command Palette

Search for a command to run...

基于对比预测编码的表征学习

Aaron van den Oord Yazhe Li Oriol Vinyals

摘要

尽管监督学习在许多应用中取得了巨大进展,但无监督学习尚未得到如此广泛的采用,仍然是人工智能领域的一个重要且具有挑战性的课题。在这项工作中,我们提出了一种从高维数据中提取有用表示的通用无监督学习方法,称为对比预测编码(Contrastive Predictive Coding)。我们的模型的关键在于通过使用强大的自回归模型来预测潜在空间中的未来状态,从而学习这些表示。我们采用了一种概率对比损失函数,该函数促使潜在空间捕获对未来样本预测最有用的信息。同时,通过负采样使得模型变得可计算。虽然大多数先前的研究主要集中在评估特定模态的表示上,但我们证明了我们的方法能够在四个不同的领域中学习到有用的表示并取得优异的性能:语音、图像、文本和三维环境中的强化学习。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比预测编码的表征学习 | 论文 | HyperAI超神经