17일 전

미세한 시각 분류를 위한 다중 과립도 파트 샘플링 어텐션

{Jinhui Tang, Bin Luo, Bo Jiang, Qin Xu, Jiahui Wang}
초록

미세한 시각 분류(Fine-grained visual classification)는 동일한 하위 카테고리 내에서 큰 변동성과 다른 하위 카테고리 간의 높은 시각적 유사성이라는 도전 과제를 안고 있다. 최근에는 구분 가능한 영역의 의미적 부분을 추출하는 방법들이 점점 더 주목받고 있다. 그러나 기존의 대부분의 방법들은 객체 탐지 모듈이나 주의 메커니즘을 통해 직사각형 경계 박스를 이용하여 부분 특징을 추출하는데, 이는 객체의 풍부한 형태 정보를 포착하기 어렵게 만든다. 본 논문에서는 미세한 시각 분류를 위한 새로운 다중 균질도 부분 샘플링 주의(Multi-Granularity Part Sampling Attention, MPSA) 네트워크를 제안한다. 먼저, 다양한 척도의 부분 정보를 추출하고, 서로 다른 균질도의 구분 가능한 부분 특징을 통해 고수준 특징 표현을 강화하기 위해 새로운 다중 균질도 부분 회고 블록을 설계하였다. 그 다음, 각 균질도에서 다양한 형태의 부분 특징을 효과적으로 추출하기 위해 부분 샘플링 주의(part sampling attention)를 제안한다. 이 주의 메커니즘은 특징 맵 상의 암묵적인 의미적 부분을 포괄적으로 샘플링할 수 있으며, 샘플된 부분의 중요도를 고려함과 동시에 부분 드롭아웃(part dropout)을 도입하여 과적합 문제를 완화한다. 또한, 기울기 클래스 활성화 맵(gradient class activation map)을 활용하여 전경 특징을 강조하고 배경 노이즈를 억제하는 새로운 다중 균질도 융합 방법을 제안하였다. 실험 결과, 제안된 MPSA는 네 가지 일반적으로 사용되는 미세한 시각 분류 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하였다. 소스 코드는 공개되어 있으며, https://github.com/mobulan/MPSA 에서 확인할 수 있다.

미세한 시각 분류를 위한 다중 과립도 파트 샘플링 어텐션 | 최신 연구 논문 | HyperAI초신경