"왜 나를 믿어야 하나요?": 임의의 분류기의 예측을 설명하는 방법

광범위한 채택에도 불구하고, 기계 학습 모델은 여전히 대부분의 경우 흑상자(Black Box) 상태에 머물러 있습니다. 예측의 배경 이유를 이해하는 것은 신뢰도 평가에서 매우 중요하며, 이는 예측을 바탕으로 행동을 계획하거나 새로운 모델을 배포할지 결정할 때 필수적입니다. 이러한 이해는 또한 모델에 대한 통찰력을 제공하여, 비신뢰적인 모델이나 예측을 신뢰성 있는 것으로 변환하는 데 활용될 수 있습니다. 본 연구에서는 LIME(Local Interpretable Model-agnostic Explanations)라는 새로운 설명 기법을 제안합니다. 이 기법은 예측 주변에서 해석 가능한 모델을 학습하여 어떤 분류기의 예측도 해석 가능하고 충실하게 설명할 수 있습니다. 또한 우리는 중복되지 않는 방식으로 대표적인 개별 예측과 그 설명을 제시하여 모델을 설명하는 방법을 제안하며, 이 작업을 부분적 최적화(Submodular Optimization) 문제로 정식화하였습니다. 우리는 다양한 텍스트(예: 랜덤 포레스트)와 이미지 분류(예: 신경망) 모델에 대해 이 방법들의 유연성을 시연하였습니다. 시뮬레이션 실험과 인간 피험자를 포함한 새로운 실험들을 통해, 신뢰가 요구되는 다양한 상황(예: 예측을 신뢰할 것인지 결정, 모델 간 선택, 비신뢰적인 분류기 개선, 분류기를 신뢰하지 말아야 하는 이유 확인)에서 설명의 유용성을 보여주었습니다.