초록
상호정보량(mutual information)은 관측값의 은닉 표현을 학습하는 데 널리 활용되지만, 분류 신경망에서의 그 의미는 여전히 명확히 설명되지 않은 상태이다. 본 연구에서는 소프트맥스 크로스엔트로피를 이용한 분류 신경망의 파라미터 최적화가 균형 잡힌 데이터 가정 하에 입력과 레이블 간의 상호정보량을 최대화하는 것과 동치임을 보여준다. 합성 데이터 및 실제 데이터셋을 활용한 실험을 통해 소프트맥스 크로스엔트로피가 상호정보량을 근사적으로 추정할 수 있음을 확인하였다. 이미지 분류에 적용할 경우, 이 관계를 통해 네트워크 구조를 수정하지 않고도 입력 이미지와 레이블 간의 점별 상호정보량(point-wise mutual information)을 근사할 수 있다. 이를 위해 우리는 정보 기반의 클래스 활성화 맵(infoCAM)을 제안한다. infoCAM은 정보량의 차이를 기반으로 주어진 레이블과 가장 관련 깊은 입력 이미지의 영역을 강조하여 시각화한다. 이 활성화 맵은 입력 이미지 내에서 대상 객체의 위치를 정확히 탐지하는 데 기여한다. 두 개의 실세계 데이터셋을 활용한 반감독 학습 기반 객체 위치 탐지 실험을 통해, 본 연구에서 제안한 정보이론적 접근 방식의 효과성을 평가하였다.