CoLT5：条件付き計算による高速化された長距離トランスフォーマー

自然言語処理の多くのタスクは長文入力を活用することで恩恵を受けるが、Transformerモデルによる長文処理は計算コストが非常に高い。これは、二次時間複雑度を示すアテンション機構に加え、各トークンに対してフィードフォワード層および投影層を適用する必要があるためである。しかし、特に長い文においては、すべてのトークンが同等に重要というわけではない。本研究では、この直感に基づき、条件付き計算（conditional computation）を採用する新しい長文対応TransformerモデルCoLT5を提案する。CoLT5は、フィードフォワード層およびアテンション層の両方で、重要度の高いトークンにより多くの計算リソースを割り当てる。実験結果から、CoLT5はLongT5よりも優れた性能を達成しつつ、トレーニングおよび推論速度が大幅に高速化することを示した。また、長文入力に対するSCROLLSベンチマークにおいて、最先端（SOTA）の性能を達成した。さらに、CoLT5は極めて長い入力（最大64kトークン）を効果的かつ実行可能に扱えることが示され、その長さに応じた顕著な性能向上が確認された。