最近の研究では、シーケンスタスクにおけるトランスフォーマー構造の強さが強調されるとともに、ニューラルアーキテクチャサーチ（NAS）が人間によって設計されたモデルを上回り始めています。本研究の目的は、NASを用いてトランスフォーマーのより優れた代替案を探し出すことです。まず、最近のフィードフォワードシーケンスモデルの進歩に基づいた大規模な探索空間を構築します。次に、初期集団にトランスフォーマーを種として播種することで、ウォームスタート付きの進化的アーキテクチャ探索を行います。計算コストが高いWMT 2014英語-ドイツ語翻訳タスクで直接探索するために、進行動的障壁法（Progressive Dynamic Hurdles method）を開発しました。この方法により、有望な候補モデルに対してより多くのリソースを動的に割り当てることが可能になります。実験で見つかったアーキテクチャである進化トランスフォーマー（Evolved Transformer）は、WMT 2014英語-ドイツ語、WMT 2014英語-フランス語、WMT 2014英語-チェコ語およびLM1Bの4つの確立された言語タスクにおいて一貫した改善を示しています。大規模なモデルサイズでは、進化トランスフォーマーはWMT'14英語-ドイツ語で新しい最先端のBLEUスコア29.8を達成しました；小規模なサイズでは、元の「大」トランスフォーマーと同等の品質を37.6%少ないパラメータ数で達成し、7Mパラメータというモバイル向けモデルサイズではトランスフォーマーを0.7 BLEU上回る性能を示しています。