使用在合成数据上训练的Mask R-CNN从真实深度图像中分割未知3D对象

在深度图像中分割未知物体的能力有望增强机器人在抓取和物体跟踪方面的技能。近期计算机视觉研究已经证明，当拥有大规模人工标注的数据集时，Mask R-CNN 可以被训练来在 RGB 图像中分割特定类别的物体。然而，生成这些数据集非常耗时，因此我们选择使用合成深度图像进行训练。许多机器人现在都配备了深度传感器，最近的研究结果表明，在合成深度数据上进行训练可以成功地迁移到现实世界中。本文提出了一种自动化数据集生成方法，并利用模拟的 3D CAD 模型堆快速生成了包含 50,000 张深度图像和 320,000 个物体掩码的合成训练数据集。我们通过域随机化在生成的数据集上训练了一个 Mask R-CNN 的变体，以实现无需任何人工标注数据的类别无关实例分割，并对所训练的网络（我们称之为合成深度（SD）Mask R-CNN）进行了评估，测试对象为一组包含具有高度几何变化的密集杂乱物品的真实高分辨率深度图像。SD Mask R-CNN 在 COCO 基准测试中的平均精度和平均召回率分别比点云聚类基线高出绝对值 15% 和 20%，并且其性能水平与在一个大规模人工标注的 RGB 数据集上训练并在实验设置的真实图像上微调的 Mask R-CNN 相似。我们将该模型部署到一个实例特定的抓取管道中，以展示其在机器人应用中的实用性。代码、合成训练数据集以及补充材料可从 https://bit.ly/2letCuE 获取。