基于混合融合的多模态工业异常检测

基于二维图像的工业异常检测已得到广泛研究，然而，基于三维点云和RGB图像的多模态工业异常检测仍有许多未涉及的领域。现有的多模态工业异常检测方法直接拼接多模态特征，导致特征之间存在强烈干扰，从而影响检测性能。在本文中，我们提出了一种新的多模态异常检测方法——Multi-3D-Memory（M3DM），该方法采用了混合融合方案：首先，我们设计了一种无监督特征融合方法，通过块级对比学习促进不同模态特征之间的交互；其次，我们使用带有多个记忆库的决策层融合方法来避免信息丢失，并引入额外的新颖性分类器以做出最终决策。此外，我们还提出了一种点特征对齐操作，以更好地对齐点云和RGB图像特征。大量实验表明，我们的多模态工业异常检测模型在MVTec-3D AD数据集上的检测和分割精度均优于现有最先进（SOTA）方法。代码可在https://github.com/nomewang/M3DM 获取。