초록
우리는 동적 평가(dynamic evaluation)를 사용하여 신경 순차 모델(neural sequence models)을 개선하는 방법론을 제시합니다. 이 방법론은 그래디언트 디센트(gradient descent) 기반 메커니즘을 통해 모델이 최근의 역사에 적응하도록 하며, 이로 인해 재발생하는 순차 패턴(re-occurring sequential patterns)에 더 높은 확률을 부여하게 됩니다. 우리의 비교에서 동적 평가는 기존의 적응 접근 방식(adaptation approaches)보다 우수한 성능을 보였습니다. 동적 평가는 Penn Treebank 및 WikiText-2 데이터셋에서 단어 수준의 퍼플렉서티(word-level perplexities)를 각각 51.1과 44.3으로, text8 및 Hutter Prize 데이터셋에서 문자 수준의 크로스 엔트로피(character-level cross-entropies)를 각각 1.19 비트/문자(bit/char)와 1.08 비트/문자(bit/char)로 개선했습니다.