초록
우리는 종종 신경망 모델의 정규화를 위해 펄버레이션(perturbations)을 사용한다. 신경망 인코더-디코더 모델의 경우, 이전 연구들은 스케줄링 샘플링(Scheduled Sampling, Bengio 등, 2015)과 적대적 펄버레이션(Adversarial Perturbations, Sato 등, 2019)을 펄버레이션 기법으로 활용해왔지만, 이러한 방법들은 상당한 계산 시간을 요구한다. 따라서 본 연구는 이러한 접근 방식이 학습 시간 측면에서 충분히 효율적인지 여부를 탐구한다. 우리는 시퀀스-투-시퀀스 문제에서 다양한 펄버레이션 기법을 계산 시간 측면에서 비교 분석한다. 실험 결과, 단순한 기법인 단어 드롭아웃(Word Dropout, Gal과 Ghahramani, 2016) 및 입력 토큰의 무작위 교체(random replacement of input tokens)가 최근 제안된 펄버레이션 기법과 비슷하거나 더 높은 성능을 달성함에도 불구하고, 훨씬 빠른 속도를 보임을 확인하였다. 본 연구의 코드는 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/takase/rethink_perturbations.