FiDO：より強力な性能と高速な推論を最適化したデコーダー内融合

Fusion-in-Decoder（FiD）は、知識集約型自然言語処理（NLP）タスクにおいて、多くの分野で最先端の性能を達成する強力なリトリーブ補強型言語モデルである。しかし、我々の分析によれば、FiDに採用されているアーキテクチャは、標準的なT5モデルに対して最小限の変更を加える形で選定されており、リトリーブ補強型モデルにとって極めて非効率であることが明らかになった。特に、FiDでは計算量（FLOPs）の大部分がエンコーダに割り当てられている一方で、推論時間の大部分はデコーダにおけるメモリ帯域幅の制約に起因している。そこで、このメモリ帯域幅の制約を緩和するための単純な2つのアーキテクチャ変更を提案し、推論速度を最大7倍に高速化することに成功した。これにより、コストをほとんど増加させることなく、より大きなデコーダを用いることが可能となった。上記の改良を施したFiDを「FiDO」と呼ぶ。実験の結果、さまざまな推論リソース制約（inference budget）の条件下で、従来のFiDモデルと比較して顕著な性能向上が確認された。例えば、FiDO-Large-XXLはFiD-Baseよりも高速な推論を実現するとともに、FiD-Largeよりも優れた性能を達成している。