초록
딥 신경망(DNN)의 추론 정확도는 핵심 성능 지표이지만, 실제 테스트 데이터셋에 따라 크게 달라지며, 정답 레이블(ground truth)이 부족한 탓에 일반적으로 알려져 있지 않다. 이는 특히 안전성이 중요한 응용 분야에서 DNN의 신뢰성에 대해 심각한 우려를 낳고 있다. 본 논문에서는 사용자 데이터셋에서의 실제 추론 정확도를 모니터링하기 위해 사후(post-hoc) 처리 기법을 활용하여 DNN의 신뢰성을 높이는 방안을 제안한다. 구체적으로, 배포된 DNN의 소프트맥스 확률 출력만을 입력으로 사용하여 DNN의 예측 결과가 올바른지 여부를 직접 예측하는 신경망 기반의 정확도 모니터 모델을 제안한다. 이를 통해 실제 추론 정확도를 추정할 수 있다. 이 정확도 모니터 모델은 목표 응용 분야와 관련된 데이터셋을 기반으로 사전 학습이 가능하며, 모델 전이를 위해 사용자 데이터셋의 소수(실험에서는 1%)만을 수동으로 레이블링하면 된다. 추정의 강건성을 높이기 위해 몬테카를로 드롭아웃(Monte-Carlo dropout) 기반의 모니터 모델 앙상블을 추가로 활용한다. 다양한 이미지 분류 및 교통 표지 탐지용 배포된 DNN 모델에 대해 다수의 데이터셋(공격적 샘플 포함)에서 본 방법을 평가한 결과, 제안하는 정확도 모니터 모델이 실제 정확도에 근접한 추정을 제공하며, 기존 기준 대비 우수한 성능을 보였다.