空間トークンミキサー

Spatial Token Mixer (STM) は、ビジョントランスフォーマー向けに特別に設計されたモジュールで、トークンの空間次元での効率的な混合を目的としています。STM は、トークンの空間次元に対して深さ方向の畳み込み操作を行うことで、ビジョントランスフォーマーのトークン混合層のプラグアンドプレイの代替手段として機能し、モデルの性能と計算効率を向上させます。