주요 시퀀스 변환 모델은 인코더-디코더 구조를 기반으로 한 복잡한 순환 신경망 또는 합성곱 신경망에 의존하고 있다. 최고 성능을 기록하는 모델들은 인코더와 디코더 사이에 주의 메커니즘(attention mechanism)을 연결하여 성능을 향상시킨다. 본 연구에서는 순환 구조와 합성곱 구조를 완전히 제거하고, 오직 주의 메커니즘에 기반한 새로운 단순한 네트워크 아키텍처인 트랜스포머(Transformer)를 제안한다. 두 가지 기계 번역 작업에 대한 실험 결과, 이 모델들은 품질 면에서 기존 모델들을 능가할 뿐만 아니라, 병렬 처리가 더 용이하고 훈련에 소요되는 시간이 현저히 적다는 점에서 우수성을 입증하였다. WMT 2014 영어-독어 번역 과제에서 본 모델은 28.4의 BLEU 점수를 기록하여, 기존 최고 성능 모델(ensemble 포함)보다 2 이상 높은 성능을 달성하였다. 또한 WMT 2014 영어-프랑스어 번역 과제에서는 8개의 GPU를 사용해 3.5일간 훈련한 후, 단일 모델로서 새로운 최고 성능인 41.8의 BLEU 점수를 기록하였으며, 이는 기존 최고 성능 모델들의 훈련 비용에 비해 매우 작은 비용으로 달성된 결과이다. 또한 대량의 훈련 데이터와 제한된 훈련 데이터 상황에서 모두 성공적으로 적용한 결과를 통해, 트랜스포머가 다른 작업으로도 잘 일반화됨을 보여주었다.