16 天前

图像段落描述中的多样性训练

{George Han, er, Luke Melas-Kyriazi, Alex Rush}
图像段落描述中的多样性训练
摘要

图像段落描述模型旨在生成对源图像的详细文字描述。这类模型采用与标准图像描述模型相似的技术,但在文本生成方面仍面临诸多挑战,尤其是生成的句子之间缺乏多样性,从而限制了其实际效果。本文探讨了针对该任务采用序列级训练方法的可行性。研究发现,标准的自批判训练(self-critical training)效果不佳,但若结合三元组重复惩罚机制,则能显著提升生成段落的多样性。这种简洁的训练策略在Visual Genome段落描述数据集上,将最佳CIDEr得分从16.9提升至30.6,同时在METEOR和BLEU等指标上也取得显著提升,且无需对模型架构进行任何修改。

图像段落描述中的多样性训练 | 最新论文 | HyperAI超神经