2달 전

이론적으로 근거한 강건성과 정확성 사이의 절충안

Hongyang Zhang; Yaodong Yu; Jiantao Jiao; Eric P. Xing; Laurent El Ghaoui; Michael I. Jordan
이론적으로 근거한 강건성과 정확성 사이의 절충안
초록

우리는 적대적 예제에 대한 방어 설계의 지침이 되는 견고성과 정확성 사이의 균형을 파악하였습니다. 이 문제는 경험적으로 널리 연구되었지만, 이 균형을 뒷받침하는 이론에 대해서는 여전히 많은 부분이 알려지지 않았습니다. 본 연구에서는 적대적 예제의 예측 오류(견고한 오류)를 자연스러운(분류) 오류와 경계 오류의 합으로 분해하고, 분류 보정 손실(classification-calibrated loss) 이론을 사용하여 미분 가능한 상위 한도를 제공하였습니다. 이 상위 한도는 모든 확률 분포와 측정 가능한 예측자에 대해 일관되게 가장 엄밀한 것으로 증명되었습니다.우리의 이론적 분석에서 영감을 받아, 우리는 견고성과 정확성을 교환할 수 있는 새로운 방어 방법인 TRADES를 설계하였습니다. 제안된 알고리즘은 실제 데이터셋에서 실험적으로 우수한 성능을 보였습니다. 이러한 방법론은 NeurIPS 2018 적대적 비전 챌린지(NeurIPS 2018 Adversarial Vision Challenge)에 참여한 기반이 되었으며, 약 2,000건의 제출작 중 1등을 차지하여, 준우승 접근법보다 평균 $\ell_2$ 변위 거리에서 $11.41\%$ 개선되었습니다.

이론적으로 근거한 강건성과 정확성 사이의 절충안 | 최신 연구 논문 | HyperAI초신경