HyperAIHyperAI

Command Palette

Search for a command to run...

反射解码网络用于图像描述生成

Lei Ke; Wenjie Pei; Ruiyu Li; Xiaoyong Shen; Yu-Wing Tai

摘要

当前最先进的图像描述生成方法主要集中在改进视觉特征上,而较少关注利用语言的内在属性来提升描述性能。本文指出,词汇的一致性和句子的句法范式对于生成高质量的图像描述同样重要。基于传统的编码器-解码器框架,我们提出了一种反射解码网络(Reflective Decoding Network, RDN)用于图像描述生成,该网络增强了解码器在长序列依赖性和词位置感知方面的能力。我们的模型学会了协同关注视觉特征和文本特征,并同时感知每个词在句子中的相对位置,以最大化生成的描述中所传递的信息量。我们在COCO图像描述数据集上评估了RDN的有效性,并取得了优于先前方法的性能。进一步的实验表明,我们的方法特别适用于需要复杂场景描述的困难案例。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供