稀疏实例激活用于实时实例分割

在本文中，我们提出了一种概念新颖、高效且完全卷积的框架，用于实现实时实例分割。以往，大多数实例分割方法严重依赖于目标检测，并基于边界框或密集中心进行掩码预测。相比之下，我们提出了一种稀疏的实例激活图集，作为新的目标表示方法，以突出每个前景目标的信息区域。然后，通过根据这些高亮区域聚合特征来获取实例级别的特征，用于识别和分割。此外，基于二分匹配的方法，实例激活图可以一对一地预测目标，从而避免了后处理中的非极大值抑制（Non-Maximum Suppression, NMS）。得益于简单而有效的设计以及实例激活图的应用，SparseInst 具有极快的推理速度，在 COCO 基准测试中达到了 40 帧/秒和 37.9 的平均精度（Average Precision, AP），显著优于同类方法的速度和准确性。代码和模型可在 https://github.com/hustvl/SparseInst 获取。