面向户外视觉-语言导航的多模态文本风格迁移

自然语言处理（NLP）中最具挑战性的课题之一是视觉引导的语言理解与推理。室外视觉-语言导航（Vision-and-Language Navigation, VLN）即为一项典型任务，要求智能体根据自然语言指令，在真实城市环境中完成导航。由于缺乏能够准确描述复杂城市场景的人工标注指令，室外VLN任务至今仍面临巨大挑战。本文提出一种多模态文本风格迁移（Multimodal Text Style Transfer, MTST）学习方法，并利用外部多模态资源缓解室外导航任务中的数据稀缺问题。具体而言，我们首先通过迁移Google Maps API生成的指令文本风格，丰富原始导航数据；随后，基于增强后的外部室外导航数据集对导航模型进行预训练。实验结果表明，所提出的MTST方法具有模型无关性（model-agnostic），在室外VLN任务上显著优于基线模型，测试集上的任务完成率相对提升了8.7%。