Convolutional Neural Networks의 Active Learning: Core-Set 접근법

컨벌루션 신경망(CNNs)은 감독 예제의 매우 큰 데이터셋에서 깊은 모델을 학습시키는 보편적인 방법을 통해 많은 인식 및 학습 작업에 성공적으로 적용되었습니다. 그러나 실제로 이 접근 방식은 매우 큰 라벨링된 이미지 세트를 수집하는 것이 매우 비싸기 때문에 제약적입니다. 이 문제를 완화하기 위한 한 가지 방법은 매우 큰 컬렉션에서 라벨링될 이미지를 선택하는 영리한 방법을 찾는 것입니다(예: 활성 학습).우리의 경험적 연구는 문헌에 나와 있는 많은 활성 학습 휴리스틱이 배치 설정에서 CNNs에 적용될 때 효과적이지 않다는 것을 시사합니다. 이러한 제한 사항에 영감을 받아, 우리는 활성 학습 문제를 코어-셋 선택으로 정의하였습니다. 즉, 선택된 부분 집합 위에서 학습된 모델이 남아있는 데이터 포인트에 대해 경쟁력이 있도록 하는 점들의 집합을 선택하는 것입니다. 또한, 우리는 데이터 포인트의 기하학적 특성을 사용하여 어떤 선택된 부분 집합도 성능을 특징화하는 이론적 결과를 제시합니다. 활성 학습 알고리즘으로서, 우리는 우리의 특징화에 따라 가장 좋은 결과를 예상되는 부분 집합을 선택하였습니다. 실험 결과, 제안된 방법이 이미지 분류 실험에서 기존 접근 방식보다 크게 우수함을 보여주었습니다.