신경망을 이용한 강건하고 재현 가능한 능동 학습 방향

액티브 러닝(Active Learning, AL)은 레이블이 지정되지 않은 대규모 데이터를 효과적으로 처리하고, 레이블링 비용이 높은 분야에서 annotation 비용을 줄일 수 있는 가능성이 있는 유망한 머신러닝(Machine Learning, ML) 패러다임이다. 최근 제안된 신경망 기반 AL 방법들은 이 목표를 달성하기 위해 다양한 휴리스틱 기법을 사용하고 있다. 본 연구에서는 동일한 실험 조건 하에서, 다양한 유형의 AL 알고리즘(불확실성 기반, 다양성 기반, 커미티 기반)이 무작위 샘플링 기준 대비 일관되지 않은 성능 향상을 보임을 입증한다. 다양한 실험을 통해 확률적 요인을 통제함으로써, AL 알고리즘이 달성하는 성능 지표의 변동성이 이전에 보고된 결과와 일치하지 않는 결과를 초래할 수 있음을 보여준다. 또한 강한 정규화 조건 하에서 다양한 실험 조건에서도 AL 방법이 무작위 샘플링 기준에 비해 거의 또는 전혀 우수한 성능을 보이지 않는다는 점을 발견하였다. 마지막으로, 새로운 AL 알고리즘을 사용할 때 실험 조건의 변화에 대해 결과가 재현 가능하고 강건함을 보장하기 위한 일련의 권고사항을 제시한다. 본 연구의 코드를 공개하여 AL 평가를 촉진하고자 한다. 본 연구의 발견과 권고사항이 신경망 기반 액티브 러닝 분야에서 재현 가능한 연구를 발전시키는 데 기여할 것으로 기대한다. 코드는 https://github.com/PrateekMunjal/TorchAL 에서 오픈소스로 공개된다.