从原始感官输入中联合发现视觉对象和口语词汇

在本文中，我们探讨了神经网络模型，这些模型能够学习将语音字幕的片段与其所指代的自然图像中的语义相关部分进行关联。我们展示了这些音视频关联定位是从执行图像-音频检索任务时作为副产品而学到的网络内部表示中涌现出来的。我们的模型直接作用于图像像素和语音波形，在训练过程中并不依赖任何形式的传统监督，如标签、分割或模态之间的对齐。我们使用Places 205和ADE20k数据集进行了分析，证明了我们的模型隐式地学会了语义耦合的对象检测器和词汇检测器。