一句话总结

MIT CSAIL 提出通用落地图（Generalized Grounding Graphs，$G^3$G3）。该框架不同于以往固定结构的模型，能够根据自然语言指令的层级化、组合式语义结构动态实例化一个概率图模型，使自主机器人能够在半结构化环境中执行落地指令。

核心贡献

• 本文提出通用落地图，它是一个用于自然语言导航和移动操作的概率图模型。该模型从指令的层级化和组合式语义结构动态实例化落地图，而不是假设固定的顺序规划结构。
• 一种学习过程将众包收集的自然语言指令与正确的机器人动作配对，用于训练模型，使其能够学习例如 “put” 和 “take” 的复杂操作动词含义，并推断计划和物体落地。
• 在真实感机器人模拟器中进行的实验和用户评估表明，该模型能够从未经专门训练的用户收集的语料库中，推断并执行许多指令的计划，其中包括 “Put the tire pallet on the truck.”

引言

自然语言指令很有用，因为它们允许人们要求机器人执行移动操作，例如告诉自主叉车装载托盘，或要求轮椅机器人手臂取书。早期的方法通常假设固定且扁平的指令结构，静态生成计划，或者专注于动作空间狭窄的路线指令，这限制了它们处理由事件、物体和位置组成的多样化人类表达的能力。作者利用指令的结构，自动构建一个概率图模型，该模型同时表示不确定的落地和候选计划。作者还将落地图视为结构化条件随机场，使系统能够从配对的语言和机器人动作中学习含义，同时推断最可能的动作序列。

数据集

• 作者使用一个机器人指令语料库，该语料库用于将自然语言指令与模拟叉车机器人落地的仓库动作配对。

• 来源和规模：

  • 作者在 Amazon Mechanical Turk 上发布了 22 个模拟叉车动作视频。
  • 视频展示了移动物体、拾取托盘、驾驶到指定位置等动作。
  • 从 45 名受试者收集语言数据，每个视频记录多条指令。
  • 语料库平均每个视频约 13 条指令，总体产生数百个语言样例。

• 组成和元数据：

  • 每个视频都配有完整的环境状态日志和机器人动作日志。
  • 每个样例将一条键入的自然语言指令与对应的模拟动作序列结合。
  • 示例指令包括 “Pick up the pallet of boxes in the middle and place them on the trailer to the left.” 等短语。

• 收集和过滤规则：

  • 受试者看不到用于描述视频中动作或物体的文本。
  • 由此产生了不受约束的自然语言，包括拼写错误和无意义指令。
  • 论文没有描述除收集键入指令之外的重度过滤过程。

• 标注和处理：

  • 作者对每条指令中的空间描述子句（Spatial Description Clauses，SDC）进行人工标注。
  • OBJECT 和 PLACE 类型的 SDC 被人工关联到环境中已落地的物体或位置。
  • PATH 和 EVENT 类型的 SDC 自动链接到视频日志中的动作路径或 agent 路径。
  • 这种自动路径与事件落地很高效，但对于描述动作多个阶段的复合指令可能存在歧义。

• 训练数据构造：

  • 带标注的 SDC 及其关联落地为学习落地语言含义提供正例。
  • 作者还通过为 SDC 分配随机落地来构造负例。
  • 一些随机物体落地在语境中仍然合理，因此有歧义的负例被重新标注为正例。

• 数据使用方式：

  • 该语料库用于在配对的指令与环境信息上训练落地模型。
  • 数据支持学习语言成分如何映射到物体、位置、路径和事件。
  • 它还为正例和构造出的负例提供监督落地目标。

方法

作者采用一种落地语言架构，该架构通过学习语言成分与可能世界状态之间的映射，再基于这些映射进行推理，从而将自然语言指令转换为机器人计划。环境被表示为语义地图，其中包含候选物体、位置、路径和事件实体。系统首先将指令解析为空间描述子句（SDC）的层级结构。每个 SDC 都有一个类型，从 OBJECT、PLACE、PATH 和 EVENT 中选择，并包含一个图形字段、一个关系字段和最多两个地标字段。叶节点子句通常对应名词性短语，而内部子句将一个关系与子子句组合。这种分解保留了动词的论元结构和空间短语的修饰结构，对于从无约束指令中学习含义至关重要。

为了表示可能映射的不确定性，作者引入通用落地图。令 $\Gamma$Γ 表示候选落地集合，并令每个 $\phi_i$ϕi​ 为一个二元变量，表示 $\gamma_i$γi​ 是否正确地对应指令的一部分。推理目标可以写为

$$\operatorname*{argmax}_{\Gamma} p(\Phi=\mathrm{True}\mid \text{command},\Gamma).$$Γargmax​p(Φ=True∣command,Γ).

SDC 层级结构诱导出一个二部因子图。变量包括对应变量 $\phi_i$ϕi​、语言字段变量（例如 $\lambda_i^f$λif​、$\lambda_i^r$λir​、$\lambda_i^{l1}$λil1​ 和 $\lambda_i^{l2}$λil2​）以及落地变量（例如 $\gamma_i^f$γif​、$\gamma_i^{l1}$γil1​ 和 $\gamma_i^{l2}$γil2​）。每个因子将一个 SDC 的对应变量与该 SDC 关联的词语和世界落地连接起来。叶节点 SDC 生成涉及其图形文本和候选落地的因子，内部 SDC 则生成涉及其关系词语以及子子句落地的因子。框架图展示了针对一个二参指令的该构造，其中一个事件落地连接了一个物体落地和一个位置落地。

诱导出的分布可以因子分解为

$$p(\Phi\mid \text{command},\Gamma) = p(\Phi\mid \mathrm{SDCs},\Gamma) = \frac{1}{Z}\prod_i \Psi_i(\phi_i,\mathrm{SDC}_i,\Gamma),$$p(Φ∣command,Γ)=p(Φ∣SDCs,Γ)=Z1​i∏​Ψi​(ϕi​,SDCi​,Γ),

每个因子被定义为一个对数线性势函数：

$$\Psi_i(\phi_i,\mathrm{SDC}_i,\Gamma) = \exp\left(\sum_k \mu_k s_k(\phi_i,\mathrm{SDC}_i,\Gamma)\right),$$Ψi​(ϕi​,SDCi​,Γ)=exp(k∑​μk​sk​(ϕi​,SDCi​,Γ)),

其中 $s_k$sk​ 是二元特征函数，$\mu_k$μk​ 是学习得到的权重。该图的拓扑不是简单的表层句法树，因为边反映的是语义依存关系，而不是仅仅线性词序。例如，在 “Go to the pallet on the truck” 中，“on the truck” 修饰 “the pallet”，因此相应的落地通过物体子句连接，而不是直接连接到运动子句。相关的指令会产生不同的图，如下图所示。

作者从指令与其落地的配对中学习权重。对于每个因子，模型构造特征来衡量候选落地是否匹配该因子的语言字段。对于像 “on” 这样的关系，特征表示将两个落地之间的几何关系与关系词的出现组合起来。例如，

$$\mathrm{supports}(\gamma_i^f,\gamma_i^l)\land(\text{“on”}\in\lambda_i^r)$$supports(γif​,γil​)∧(“on”∈λir​)

将词语 “on” 与图形落地和地标落地之间的支撑关系绑定。基础特征编码三维边界框之间的关系，包括支撑、归一化距离，以及用于方向关系的 Attention Vector Sum。连续特征被归一化并离散化为均匀分箱。模型随后将离散化基础特征与相关 SDC 字段中的词存在特征做笛卡尔积，形成二元特征。这使模型能够在保留几何落地信息的同时学习词特异的空间含义。

对于 EVENT 和 PATH 子句，落地对应机器人以及被操作物体的轨迹。特征在完整运动轨迹上计算，包括朝向或远离地标物体的位移、与地标物体的平均距离，以及在轨迹开始、结束和平均状态下评估的物体或位置特征。对于名词标注，模型还使用从词汇资源和外部图像标签统计中导出的词标签相似度，使未知物体词语能够与已知视觉概念相关联。训练通过计算对数似然的梯度，并使用梯度下降和 L-BFGS 优化权重，从而最大化监督落地的似然。

在推理过程中，系统解析新指令，固定 SDC 结构，并搜索使对应变量最可能的落地分配。由于搜索空间包括物体分配和可行动作序列，算法使用固定束宽为二十的束搜索。它将推理划分为两趟。第一趟查找并对候选 OBJECT 和 PLACE 落地评分。第二趟使用这些候选项来搜索对应 EVENT 和 PATH 子句的机器人动作序列。这样可以避免为每个可能事件重新计算物体和位置候选项。结果是一组物体和位置落地，以及一个可执行的动作序列。典型叉车指令推断出的落地和计划如下图所示。

实验

实验使用一个为模拟叉车动作收集的自然语言指令语料库，这些指令与机器人状态和动作日志配对，用于训练和评估基于落地的指令理解模型。对代价函数的评估表明，模型能够稳健地学习语义话语成分与已落地的世界实体之间的对应关系，尽管它在参照系空间短语、有歧义的路径和低频指令词语方面表现困难。端到端评估中，生成的计划被模拟，并由新的标注者判断，结果显示系统显著优于随机代价基线，并产生定性上合理的机器人行为；同时，置信度估计有助于识别最可靠的指令解释。

学习得到的模型能够以较高的总体可靠性预测空间描述是否对应视觉落地。OBJECT 描述的分类最准确，而 PLACE 描述明显更困难，尤其是涉及参照系或多个物体时。PATH 和 EVENT 描述表现出中等性能。OBJECT 对应关系预测是最强的类别，精确率、召回率和 F 分数接近完美。PLACE 对应关系预测是最弱的类别，反映了空间推理和参照系推理的挑战。

标注者将指令与原始视频配对判为正确的频率，远高于将指令与随机视频配对判为正确的频率。这一巨大差距表明，语料库语言能够被新的评估者理解，并且评估程序能够将有效的指令视频匹配与不匹配的配对区分开来。已知正确指令视频配对的一致性很高，已知错误指令视频配对的一致性很低，置信区间表明正确配对与不匹配配对之间存在明显区分。

在人类端到端评估中，使用参考语义指令的学习代价搜索达到最高的机器人遵循指令一致性，而使用随机代价的受约束搜索要弱得多。自动提取的语义指令仍然显著优于随机代价基线，但低于参考指令设置。在最可信计划上取得的更强结果说明，系统的概率估计有助于识别成功的执行。学习代价搜索明显优于使用随机代价函数的受约束搜索。自动指令提取相对于参考指令会降低性能，但其表现仍显著高于随机代价基线。最高置信度计划子集的表现优于完整测试集，表明置信度度量具有信息量。

这些实验评估了从描述到视频对应关系的学习预测以及机器人计划选择。学习得到的模型能够可靠地预测空间描述是否匹配视觉落地，在物体描述上表现最好，在路径和事件描述上较弱，并在涉及参照系或多个物体的位置描述上最为困难。人类评估证实，有效指令视频配对比不匹配配对更常被判断为正确；端到端测试表明，使用参考语义指令的学习代价搜索取得最佳的感知机器人遵循度，自动指令提取的表现仍高于随机代价基线，更高置信度的计划对应更可靠的执行。