엔트로피 기반 신경망의 논리적 설명

해석 가능한 인공지능은 안전 핵심 영역에 대한 해석 가능한 모델을 요구하는 법안이 등장하면서 급속히 부상하고 있다. 개념 기반 신경망은 인간이 이해할 수 있는 기호(즉, 개념)를 활용하여 클래스 소속을 예측하기 때문에, 해석 가능한 설계(Explainable-by-design) 방법으로 부상하고 있다. 그러나 대부분의 기존 방법들은 가장 관련성이 높은 개념을 식별하는 데 집중할 뿐, 분류기가 예측을 내리기 위해 이러한 개념을 어떻게 활용하는지를 간결하고 형식적인 설명으로 제공하지 못한다. 본 논문에서는 일관된 논리적 설명을 신경망에서 추출할 수 있는 새로운 엔드 투 엔드 미분 가능한 접근법을 제안한다. 이 방법은 일阶논리(First-Order Logic)의 형식 체계를 활용하며, 엔트로피 기반 기준을 통해 가장 관련성 있는 개념을 자동으로 식별한다. 본 연구에서는 임상 데이터에서 컴퓨터 비전에 이르는 안전 핵심 영역을 대상으로 네 가지 사례 연구를 수행하여 다음과 같은 결과를 입증한다: (i) 엔트로피 기반 기준은 안전 핵심 영역에서 간결한 논리적 설명을 효과적으로 도출할 수 있으며, (ii) 제안된 방법은 분류 정확도 측면에서 최신 백박스 모델을 능가하며, 동시에 블랙박스 성능과 동등한 수준을 달성한다.