面向掩码的IoU在实时实例分割中的锚点分配

本文提出了一种用于实例分割方法训练过程中正负样本分配的掩码感知交并比（Mask-aware Intersection-over-Union，简称maIoU）。与传统的交并比（IoU）及其变体仅考虑两个框之间的接近程度不同，maIoU不仅衡量锚框与真实框之间的接近度，还考虑了与其相关的真实掩码。因此，通过额外考虑代表物体形状的掩码，maIoU在训练过程中提供了更精确的监督。我们通过将最先进的（SOTA）分配器ATSS中的IoU操作替换为我们的maIoU，并训练YOLACT这一实时实例分割方法来验证maIoU的有效性。实验结果表明，使用maIoU的ATSS在不同图像尺寸下始终优于（i）使用传统IoU的ATSS约1个掩码AP点，（ii）使用固定IoU阈值分配器的基准YOLACT约2个掩码AP点，并且由于使用的锚框数量减少，推理时间减少了25%。利用这一效率优势，我们设计了maYOLACT，该检测器比YOLACT更快且精度提高了6个AP点。我们的最佳模型在COCO测试开发集上实现了37.7个掩码AP值和25帧每秒的速度，为实时实例分割建立了新的最先进水平。代码已发布在https://github.com/kemaloksuz/Mask-aware-IoU。