HyperAIHyperAI

Command Palette

Search for a command to run...

面向户外视觉-语言导航的多模态文本风格迁移

Wanrong Zhu Xin Eric Wang Tsu-Jui Fu An Yan Pradyumna Narayana Kazoo Sone Sugato Basu William Yang Wang

摘要

自然语言处理(NLP)中最具挑战性的课题之一是视觉引导的语言理解与推理。室外视觉-语言导航(Vision-and-Language Navigation, VLN)即为一项典型任务,要求智能体根据自然语言指令,在真实城市环境中完成导航。由于缺乏能够准确描述复杂城市场景的人工标注指令,室外VLN任务至今仍面临巨大挑战。本文提出一种多模态文本风格迁移(Multimodal Text Style Transfer, MTST)学习方法,并利用外部多模态资源缓解室外导航任务中的数据稀缺问题。具体而言,我们首先通过迁移Google Maps API生成的指令文本风格,丰富原始导航数据;随后,基于增强后的外部室外导航数据集对导航模型进行预训练。实验结果表明,所提出的MTST方法具有模型无关性(model-agnostic),在室外VLN任务上显著优于基线模型,测试集上的任务完成率相对提升了8.7%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供