具身代理遇见个性化：探索记忆利用以提供个性化辅助

由大型语言模型（LLMs）驱动的具身代理在家庭物品重新排列任务中表现出色。然而，这些任务主要集中在简化指令的单轮交互上，未能真正反映为用户提供有意义帮助所面临的挑战。为了提供个性化的协助，具身代理必须通过利用先前的互动历史来解释动态、现实世界的指令，从而理解用户赋予物理世界的独特语义（例如，最喜欢的杯子、早餐例行程序）。然而，具身代理在利用记忆进行个性化辅助方面的有效性尚未得到充分研究。为了解决这一差距，我们提出了MEMENTO，这是一个旨在全面评估记忆利用能力以提供个性化辅助的具身代理评价框架。我们的框架包括一个两阶段的记忆评估过程设计，能够量化记忆利用对任务性能的影响。该过程通过关注其在目标解释中的作用，评估代理在物体重新排列任务中对个性化知识的理解：(1) 基于个人意义（物体语义）识别目标物体的能力；(2) 从用户的一致模式（如例行程序）中推断物体-位置配置的能力。我们在各种大型语言模型上的实验揭示了记忆利用方面的重要局限性，即使是前沿模型如GPT-4，在需要引用多个记忆时也会出现30.5%的性能下降，尤其是在涉及用户模式的任务中。这些发现连同我们的详细分析和案例研究，为未来开发更有效的个性化具身代理提供了宝贵的见解。项目网站：https://connoriginal.github.io/MEMENTO