자기지도 마스킹 컨볼루션 트랜스포머 블록을 활용한 이상 탐지

최근 컴퓨터 비전 분야에서 이상 탐지(anomaly detection)에 대한 관심이 점차 증가하고 있다. 이는 산업 생산 라인에서 제품 결함 탐지, 영상 감시에서 임박한 사건 탐지, 의료 영상에서 병변 탐지에 이르기까지 광범위한 응용 분야를 갖추고 있기 때문으로 보인다. 어떤 분야이든 이상 탐지는 일반적으로 정상 샘플들만을 이용해 학습하는 일종의 일종 분류(one-class classification) 문제로 설정된다. 이러한 맥락에서 성공적인 이상 탐지 방법의 일대는 정상 입력(예: 패치, 향후 프레임 등)을 마스킹한 후 이를 재구성하는 방식을 기반으로 하며, 재구성 오차의 크기를 이상 정도의 지표로 활용한다. 다른 재구성 기반 방법들과 달리, 본 연구에서는 재구성 기능을 핵심 아키텍처 수준에 통합한 새로운 자기지도 학습 마스킹 컨볼루션 트랜스포머 블록(Self-Supervised Masked Convolutional Transformer Block, SSMCTB)을 제안한다. 제안된 자기지도 학습 블록은 매우 유연한 구조를 지니고 있어 신경망의 어느 계층에서든 정보를 마스킹할 수 있으며, 다양한 신경망 아키텍처와 호환 가능하다. 본 연구에서는 이전에 제안한 자기지도 예측 컨볼루션 주의 블록(SSPCAB)을 보완하여 3D 마스킹 컨볼루션 레이어, 채널 기반 주의를 위한 트랜스포머, 그리고 Huber 손실 기반의 새로운 자기지도 학습 목적함수를 도입하였다. 또한, 본 블록이 기존의 RGB 영상 및 감시 영상 기반 작업 외에도 의료 영상 및 열영상에서의 이상 탐지와 같은 더 넓은 범위의 작업에 적용 가능함을 보여주었다. 다양한 최첨단 이상 탐지 신경망 모델에 SSMCTB를 통합함으로써 그 일반성과 유연성을 입증하였으며, 다섯 가지 벤치마크에서 실증적 결과를 통해 상당한 성능 향상을 확인하였다. 본 연구의 코드 및 데이터는 오픈소스로 공개되었으며, 다음 링크에서 확인할 수 있다: https://github.com/ristea/ssmctb.