MATE：テーブル変換器の効率化のためのマルチビュー注意力

本研究では、大規模な表を含むドキュメントをモデル化するためのスパースアテンションを用いたTransformerアーキテクチャを提示する。ウェブ上には表が広く存在しており、豊富な情報が含まれている。しかし、ウェブ上の関係型表の20％以上が20行以上を有する（Cafarellaら、2008年）という現状があり、こうした大規模な表は、通常512トークンまでしか処理できない現在のTransformerモデルにとって大きな課題となっている。そこで本研究では、ウェブ上の表の構造を効果的にモデル化することを目的として、MATEと呼ばれる新しいTransformerアーキテクチャを提案する。MATEは、アテンションヘッドが表の行または列のいずれかに効率的に注目できるように、スパースアテンションを設計的に活用している。このアーキテクチャは、処理速度およびメモリ使用量について線形にスケーラブルであり、現在のアクセラレータを用いて8000トークンを超えるドキュメントを扱うことが可能である。さらに、表データに適したより適切な誘導バイアス（inductive bias）を備えており、3つの表推論データセットにおいて新たな最良性能（SOTA）を達成した。特に、大規模なドキュメントに表を含むことを特徴とするHybridQA（Chenら、2020b）データセットでは、従来の最良結果から19ポイントの向上を達成した。