초록
깊은 신경망은 데이터 분석과 의사결정을 자동화하는 데 점점 더 많이 사용되고 있지만, 그들의 의사결정 과정은 대부분 불명확하며 최종 사용자에게 설명하기 어렵습니다. 본 논문에서는 이미지를 입력으로 받아 클래스 확률을 출력하는 깊은 신경망의 설명 가능한 인공지능(Explainable AI) 문제를 다룹니다. 우리는 모델의 예측에 각 픽셀이 얼마나 중요한지를 나타내는 중요도 맵을 생성하는 RISE(Randomized Input Sampling for Explanation)라는 접근법을 제안합니다. 그래디언트나 다른 내부 네트워크 상태를 사용하여 픽셀 중요도를 추정하는 백박스 접근법과 달리, RISE는 검은 상자 모델에서 작동합니다. 이 방법은 입력 이미지의 무작위로 마스킹된 버전을 모델에 적용하고 해당 출력을 얻어 경험적으로 중요도를 추정합니다. 우리는 자동 삭제/삽입 메트릭과 인간이 주석한 객체 세그먼트 기반 포인팅 메트릭을 사용하여 최신 중요도 추출 방법들과 우리의 접근법을 비교하였습니다. 여러 벤치마크 데이터셋에 대한 광범위한 실험 결과, 우리의 접근법이 다른 방법들, 포함 백박스 접근법과 동일하거나 그 이상의 성능을 보임을 확인할 수 있었습니다.프로젝트 페이지: http://cs-people.bu.edu/vpetsiuk/rise/