HyperAIHyperAI

Command Palette

Search for a command to run...

FLAME:在城市环境中使用多模态大语言模型进行导航学习

Yunzhe Xu Yiyuan Pan Zhe Liu Hesheng Wang

摘要

大型语言模型(LLMs)在视觉-语言导航(VLN)任务中展示了潜力,但当前应用仍面临挑战。尽管这些模型在一般对话场景中表现出色,但在专门的导航任务上却表现不佳,与专门设计的VLN模型相比,其性能较差。我们引入了FLAME(FLAMingo架构的具身代理),这是一种新型的基于多模态LLM的代理和架构,专为城市VLN任务设计,能够高效处理多种观察数据。我们的方法实施了一种三阶段微调技术,以有效适应导航任务,包括用于街景描述的单感知微调、用于路线总结的多感知微调以及在VLN数据集上的端到端训练。增强的数据集是通过自动合成生成的。实验结果表明,FLAME在现有方法中具有明显优势,在Touchdown数据集上的任务完成率比最先进的方法提高了7.3%。这项工作展示了多模态LLM(MLLMs)在复杂导航任务中的潜力,标志着向具身智能领域应用MLLMs迈进的重要一步。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供