다중 스케일 패치 기반 특징 그래프를 이용한 이미지 분류

최근 몇 년간 딥러닝 아키텍처는 이미지 분류 분야에서 뛰어난 성과를 보여왔다. 그러나 소규모 데이터셋에 복잡한 신경망 아키텍처를 적용하는 것은 여전히 도전적인 과제이다. 이러한 맥락에서 전이 학습(transfer learning)은 이와 같은 상황을 다루는 데 있어 유망한 접근 방식으로 주목받고 있다. 일반적으로 사용 가능한 사전 훈련된 아키텍처는 표준 고정 입력 크기를 사용하며, 이는 전처리 단계에서 입력 이미지를 리사이징 및 자르는 것을 의미한다. 그러나 이러한 과정은 정보 손실을 초래할 수 있다. 또한 실제 환경에서는 이미지가 다양한 척도(scale)에서 시각적 특징을 나타내지만, 대부분의 기존 방법들은 이러한 사실을 고려하지 않는다. 본 논문에서는 소규모 데이터셋에 대한 전이 학습을 적용하고, 사전 훈련된 모델이 다양한 척도에서 추출한 시각적 특징을 활용하는 새로운 접근법을 제안한다. 본 연구는 그래프 컨볼루션 네트워크(Graph Convolutional Network, GCN)를 기반으로 하며, 다양한 척도의 이미지를 그래프 형태로 표현한 입력을 처리한다. 이 그래프의 각 노드는 다양한 척도의 정규 이미지 패치에서 사전 훈련된 모델이 추출한 특징으로 정의된다. GCN은 노드 수가 다른 그래프를 자연스럽게 처리할 수 있으므로, 본 방법은 동질적이지 않은 크기의 이미지에 대해 유연하게 대응할 수 있으며, 중요한 정보를 버리지 않는다. 제안한 방법은 지질학적 이미지 세트와 공개된 데이터셋 두 가지에서 평가되었으며, 이들 데이터셋은 전통적 접근 방식이 도전받는 특성을 지닌다. 다양한 사전 훈련된 모델 세 가지(효율적인 두 가지 CNN 모델인 DenseNet과 ResNeXt, 그리고 비전 트랜스포머인 CLIP)를 특징 추출기로 사용하여 본 방법을 검증하였다. 또한 기존의 두 가지 전통적인 이미지 분류 접근법과의 성능을 비교 분석하였다. 실험 결과, 본 방법이 이 작업에 대해 기존의 전통적 접근법보다 더 우수한 성능을 달성함을 확인하였다.