我々は、Transformerモデルにおけるアテンションの疎化を、学習過程において最も情報量の多いトークン表現を選択する新たな手法により実現する。これにより、入力データのタスク固有の部分に注目することができる。堅牢なトレーナブルなtop-$k$k演算子の導入により、時間およびメモリ複雑度を二次関数的から部分線形にまで削減した。困難な長文要約タスクにおける実験結果から、単純なベースラインでも現在の最先端（SOTA）と同等の性能を達成でき、トレーナブルなプーリングを導入することでその高い品質を維持しつつ、学習時には1.8倍、推論時には4.5倍高速化され、デコーダーにおける計算効率は最大で13倍向上することが明らかになった。