초록
우리는 기계 학습 모델의 성능을 크게 저하시키는 두 가지 도전적인 데이터셋을 소개합니다. 이 데이터셋들은 간단한 적대적 필터링 기술을 사용하여 수집되었으며, 잘못된 단서가 제한적으로 포함된 데이터셋을 생성하기 위해 사용되었습니다. 우리의 데이터셋은 실제 세계에서 수정되지 않은 예시들을 포함하며, 다양한 미확인 모델에 신뢰성 있게 전이되어 컴퓨터 비전 모델들이 공유하는 약점을 보여줍니다. 첫 번째 데이터셋은 ImageNet-A로, ImageNet 테스트 세트와 유사하지만 기존 모델들에게 훨씬 더 어려운 문제를 제시합니다. 또한, 우리는 ImageNet 모델을 위한 첫 번째 적대적 분포 외 검출 데이터셋인 ImageNet-O를 큐레이션했습니다. ImageNet-A에서 DenseNet-121은 약 2%의 정확도를 얻으며, 이는 대략 90%의 정확도 하락을 의미합니다. 그리고 ImageNet-O에서의 분포 외 검출 성능은 거의 무작위 수준입니다. 우리는 기존의 데이터 증강 기술이 성능 향상에 거의 영향을 미치지 않는다는 것을 발견했으며, 다른 공개 훈련 데이터셋을 사용해도 개선 효과가 제한적임을 확인했습니다. 그러나 컴퓨터 비전 아키텍처의 개선이 견고한 모델로 나아가는 유망한 경로라는 것을 발견했습니다.