HyperAIHyperAI

Command Palette

Search for a command to run...

从原始感官输入中联合发现视觉对象和口语词汇

David Harwath Adrià Recasens Dídac Surís Galen Chuang Antonio Torralba James Glass

摘要

在本文中,我们探讨了神经网络模型,这些模型能够学习将语音字幕的片段与其所指代的自然图像中的语义相关部分进行关联。我们展示了这些音视频关联定位是从执行图像-音频检索任务时作为副产品而学到的网络内部表示中涌现出来的。我们的模型直接作用于图像像素和语音波形,在训练过程中并不依赖任何形式的传统监督,如标签、分割或模态之间的对齐。我们使用Places 205和ADE20k数据集进行了分析,证明了我们的模型隐式地学会了语义耦合的对象检测器和词汇检测器。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供