摘要
语义稀疏性是结构化视觉分类问题中的一个常见挑战；当输出空间复杂时，绝大多数可能的预测在训练集中很少或从未出现。本文研究了情境识别中的语义稀疏性问题，该任务旨在生成图像中发生事件的结构化摘要，包括活动、物体以及物体在活动中的角色。对于这一问题，我们通过实证研究发现，大多数物体-角色组合较为罕见，而当前最先进的模型在这种数据稀疏环境下表现显著不佳。我们通过以下两种方法避免了许多此类错误：（1）引入一种新颖的张量组合函数，学习在不同角色-名词组合之间共享示例；（2）利用网络数据自动收集罕见输出的示例，对训练数据进行语义增强。当这些方法集成到一个完整的基于条件随机场（CRF）的结构化预测模型中时，基于张量的方法在前五动词和名词-角色准确性上分别相对提高了2.11%和4.40%。此外，通过添加500万张图像并应用我们的语义增强技术，前五动词和名词-角色准确性进一步相对提高了6.23%和9.57%。