摘要
我们研究了在包含物体的场景中通过RGB-D视图检测机器人抓取的问题。在这项工作中，我们应用了一种深度学习方法来解决这一问题，从而避免了耗时的手动特征设计。这带来了两个主要挑战。首先，我们需要评估大量的候选抓取点。为了使检测既快速又稳健，我们提出了一种两阶段级联结构，该结构由两个深度网络组成，其中第一个网络的顶级检测结果会被第二个网络重新评估。第一个网络具有较少的特征，运行速度更快，可以有效地剔除不太可能的候选抓取点。第二个网络虽然特征更多，但运行速度较慢，只需对前几个顶级检测结果进行评估即可。其次，我们需要很好地处理多模态输入。为此，我们提出了一种基于多模态组正则化的方法来对权重施加结构化正则化。我们证明了我们的方法在机器人抓取检测方面优于先前的最先进方法，并且可以在两种不同的机器人平台上成功执行抓取操作。