摘要
密集标注旨在同时定位语义区域并用自然语言中的短语或句子描述这些感兴趣区域（ROIs）。先前的研究已经取得了显著进展，但它们通常容易受到孔径问题的影响，即由一个ROI内部特征生成的标注缺乏与输入图像周围上下文的情境连贯性。在本研究中，我们探讨了基于多尺度消息传播的上下文推理方法，从邻近内容向目标ROI传递信息。为此，我们设计了一种新颖的端到端上下文和属性支持的密集标注框架，该框架包括1）上下文视觉挖掘模块和2）多层次属性支持的描述生成模块。鉴于标注通常与语言属性（如“谁”、“什么”和“哪里”）共现，我们还引入了层次语言属性的辅助监督以增强所学标注的独特性。在Visual Genome数据集上进行的大量实验和消融研究表明，所提出的模型相比现有最先进方法具有明显优势。