다중 모드 산업 이상 탐지 방법: 하이브리드 융합을 통한 접근

2D 기반 산업 이상 탐지에 대해 널리 논의되어 왔지만, 3D 포인트 클라우드와 RGB 이미지를 활용한 다중 모달 산업 이상 탐지는 아직 많은 미개척 분야가 존재합니다. 기존의 다중 모달 산업 이상 탐지 방법들은 다중 모달 특성을 직접 결합하여 특성 간의 강한 간섭을 초래하고 탐지 성능을 저하시키는 문제를 가지고 있습니다. 본 논문에서는 하이브리드 융합 방식을 갖춘 새로운 다중 모달 이상 탐지 방법인 Multi-3D-Memory (M3DM)을 제안합니다. 첫째, 패치별 대조 학습(patch-wise contrastive learning)을 이용한 비지도 특성 융합을 설계하여 서로 다른 모달 특성 간의 상호작용을 촉진합니다. 둘째, 정보 손실을 피하고 최종 결정을 내리는 데 도움이 되도록 여러 메모리 뱅크(multiple memory banks)와 추가적인 신규 분류기(novelty classifiers)를 사용하는 결정층 융합(decision layer fusion) 방식을 적용합니다. 또한, 포인트 클라우드와 RGB 특성을 더 잘 맞추기 위해 포인트 특성 정렬(point feature alignment) 연산을 제안합니다. 광범위한 실험 결과, 제안된 다중 모달 산업 이상 탐지 모델은 MVTec-3D AD 데이터셋에서 검출 및 세그멘테이션 정밀도 면에서 최신 연구(SOTA) 방법들을 능가하는 것으로 나타났습니다. 코드는 https://github.com/nomewang/M3DM에서 확인할 수 있습니다.