最近提案された純粋な注意機構を用いたビジュアルイメージトランスフォーマー（ViT）は、画像認識タスク、特に画像分類において有望な性能を達成しています。しかし、現在のViTモデルでは推論時に全長のパッチシーケンスを維持するというルーチンが存在しており、これは冗長であり階層的な表現に欠けています。この問題に対処するために、我々はビジュアルトークンを段階的にプーリングしてシーケンス長を縮小し、計算コストを削減する階層的ビジュアルトランスフォーマー（HVT）を提案します。これは、畳み込みニューラルネットワーク（CNNs）における特徴マップのダウンサンプリングに類似しています。これにより、シーケンス長が短縮されたことで追加の計算複雑さを導入せずに、モデルの容量を深さ/幅/解像度/パッチサイズの次元で拡大することが可能となります。さらに、我々は経験的に平均プーリングされたビジュアルトークンが単一のクラストークンよりもより識別的な情報を含んでいることを発見しました。我々のHVTの向上したスケーラビリティを示すために、画像分類タスクにおいて広範な実験を行いました。同等のFLOPsで、ImageNetおよびCIFAR-100データセットにおいて競合するベースラインモデルを超える性能を達成しています。コードはhttps://github.com/MonashAI/HVT で公開されています。