Raumtokenmischer

Spatial Token Mixer (STM) ist ein Modul, das speziell für Vision Transformers entwickelt wurde, um die Effizienz des Token-Mischens zu verbessern. Durch die Durchführung von tiefenweisen Faltungsoperationen auf den räumlichen Dimensionen der Tokens kann STM als ein einfaches Ersatzmodul für die Token-Mischungsschicht in Vision Transformers dienen und so die Leistung und die rechnerische Effizienz des Modells effektiv erhöhen.