초록
포인트 클라우드(PCD) 이상 감지는 점차 유망한 연구 영역으로 부상하고 있습니다. 본 연구는 수작업으로 생성된 PCD 설명과 강력한 사전 학습 2D 신경망을 결합하여 PCD 이상 감지 성능을 향상시키는 것을 목표로 합니다. 이를 위해 본 연구에서는 로컬 기하학적 정보를 3D 모달리티에서 수작업으로 생성된 PCD 디스크립터를 사용하여 통합하고, 전역 의미론적 정보를 생성된 의사 2D 모달리티에서 사전 학습 2D 신경망을 사용하여 통합하는 보완적 의사 다중모달 특성(CPMF)을 제안합니다. 전역 의미론적 정보 추출을 위해 CPMF는 원래의 PCD를 다중 시점 이미지를 포함하는 의사 2D 모달리티로 투영합니다. 이러한 이미지는 정보가 풍부한 2D 모달리티 특성 추출을 위해 사전 학습된 2D 신경망에 제공됩니다. 3D와 2D 모달리티 특성이 집계되어 PCD 이상 감지를 위한 CPMF를 얻습니다. 광범위한 실험 결과, CPMF의 보완적 능력과 효과성이 입증되었으며, MVTec3D 벤치마크에서 이미지 레벨 AU-ROC 95.15%, 픽셀 레벨 PRO 92.93%의 성능을 보였습니다. 코드는 https://github.com/caoyunkang/CPMF에서 확인할 수 있습니다.