2달 전

Domain Shift 하에서 신경망 준지도 학습을 위한 강력한 베이스라인

Sebastian Ruder; Barbara Plank
Domain Shift 하에서 신경망 준지도 학습을 위한 강력한 베이스라인
초록

최근 몇 년 동안 도메인 시프트 하에서 학습하기 위한 새로운 신경망 모델들이 제안되었습니다. 그러나 대부분의 모델들은 단일 작업에 대해서만 평가되거나 소유권이 있는 데이터셋을 사용하거나, 약한 베이스라인과 비교되는 경우가 많아, 모델 간의 비교가 어려웠습니다. 본 논문에서는 도메인 시프트 하에서 신경망을 적용한 고전적인 일반 목적 부트스트래핑 접근법과 최근의 신경망 접근법을 재평가하고, 고전적인 트라이 트레이닝의 시간 및 공간 복잡도를 줄이는 새로운 다중 작업 트라이 트레이닝 방법을 제안합니다. 두 벤치마크에 대한 광범위한 실험 결과는 부정적이었습니다: 우리의 새로운 방법은 감성 분석에서 새로운 최고 수준(SOTA)을 달성하였지만, 일관된 최고 성능을 보여주지는 않았습니다. 더욱 중요한 것은, 일부 추가 사항과 함께 고전적인 트라이 트레이닝이 최고 수준(SOTA)을 초월한다는 다소 놀라운 결론에 도달하였다는 것입니다. 우리는 고전적 접근법이 중요한 강력한 베이스라인이 된다는 결론을 내렸습니다.