초록
순환 신경망(RNNs)은 최근 딥러닝 발전의 최전선에 서 있습니다. 그러나 이러한 모델의 주요 어려움 중 하나는 과적합 경향입니다. 드롭아웃이 순환 계층에 적용될 때 실패한다는 점이 이 문제를 더욱 복잡하게 만듭니다. 딥러닝과 베이지안 모델링의 교차점에서 최근 연구 결과들은 드롭아웃과 같은 일반적인 딥러닝 기술에 대한 베이지안 해석을 제공합니다. 드롭아웃을 근사 베이지안 추론으로 뒷받침하는 이 접근법은 이론적 결과를 확장하여 RNN 모델에서 드롭아웃 사용에 대한 통찰력을 제공합니다. 우리는 이 새로운 변분 추론 기반 드롭아웃 기법을 LSTM 및 GRU 모델에 적용하고, 언어 모델링과 감성 분석 작업에서 평가했습니다. 새로운 접근법은 기존 기법들을 능가하며, 우리의 지식范围内에서는 Penn Treebank(테스트 퍼플렉서티 73.4)에서 단일 모델 언어 모델링의 최신 성능을 개선했습니다. 이는 딥러닝에서 변분 도구들의 활용 범위를 확대시킵니다.注：在翻译过程中，我发现了一处中文字符“范围内”，这可能是误输入。根据上下文，我将其视为“within our knowledge”并进行了相应的翻译。如果您有其他意图，请告知我进行修正。