신경망 구조 분석: 게임 이론적 접근법

인공 신경망은 매우 다양한 응용 사례에서 뛰어난 성공을 보여주었습니다. 네트워크의 성공에 있어 적절한 네트워크 구조를 선택하는 것이 중요한 결정이며, 이는 일반적으로 수작업으로 이루어집니다. 직관적인 전략으로, 주로 완전 연결된 큰 구조가 선택되며, 이는 좋은 최적화 전략을 통해 적절한 가중치를 찾으면서 동시에 과적합을 피하려고 합니다. 그러나 최종 네트워크의 많은 부분이 중복됩니다. 가장 이상적인 경우, 네트워크의 큰 부분이 추론 단계에서 단순히 무시될 수 있습니다. 가장 나쁜 경우, 고도로 매개변수화된 구조는 적절한 최적화를 방해하고 네트워크를 속이는 적대적 예제(adversarial example)의 쉽게 생성을 허용합니다. 관련 없는 구조적 부분을 제거하는 첫 번째 단계는 이러한 부분들을 식별하는 것이며, 이는 개별 구성 요소(예: 뉴런)의 기여도를 측정하는 것이 필요합니다. 이전 연구에서는 뉴런의 가중치 분포를 기여도 측정 지표로 사용하는 휴리스틱 방법이 일부 성공을 거두었지만, 이는 올바른 이론적 이해를 제공하지 못했습니다. 따라서 우리 연구에서는 게임 이론적 지표인 샤플리 값(Shapley Value, SV)을 조사하여 인공 신경망의 관련 있는 부분과 관련 없는 부분을 구분하기 위해 노력하고 있습니다. 우리는 인공 신경망을 위한 협동 게임(coalitional game)을 설계하여 시작하며, 여기서 뉴런들은 협동체(coalition)를 형성하고 뉴런들의 평균 기여도가 샤플리 값을 산출합니다. 샤플리 값이 개별 뉴런의 기여도를 얼마나 잘 측정하는지 측정하기 위해, 기여도가 낮은 뉴런들을 제거하고 이를 통해 네트워크 성능에 미치는 영향을 측정하였습니다. 실험 결과, 샤플리 값은 다른 휴리스틱 방법보다 뉴런의 기여도를 더 잘 측정한다는 것을 보였습니다.