要約
ビジョントランスフォーマーは、近年、コンピュータビジョンのさまざまなタスクにおいて著しい成功を収めています。しかし、その高い計算コストが実用的な展開における大きな障壁となっています。特に、トランスフォーマーモデルの複雑さは入力トークン数に対して二次的であるため、処理する必要のある入力トークン数を削減する技術が提案されてきました。本論文では、トークンマージングとトークンプルーニングの両方の長所を活用した新しい手法である学習閾値によるトークンマージングおよびプルーニング（LTMP: Learned Thresholds token Merging and Pruning）を紹介します。LTMPは、学習された閾値マスキングモジュールを使用して、どのトークンをマージし、どのトークンをプルーニングするかを動的に決定します。我々はImageNet分類タスクにおけるビジョントランスフォーマーでの広範な実験を通じて、当手法を検証しました。結果は、LTMPが削減率にわたって最先端の精度を達成しながら、単一のファインチューニングエポックのみが必要であることを示しており、これは従来の方法よりも一桁速いです。コードは https://github.com/Mxbonn/ltmp で公開されています。