HyperAIHyperAI

Command Palette

Search for a command to run...

Jenseits aufmerksamer Tokens: Einbeziehung von Token-Bedeutung und -Vielfalt für effiziente Visionstransformer

Long Sifan ; Zhao Zhen ; Pi Jimin ; Wang Shengsheng ; Wang Jingdong

Zusammenfassung

Visions-Transformer haben in verschiedenen visuellen Aufgaben erhebliche Verbesserungen erzielt, jedoch verringern ihre quadratischen Interaktionen zwischen Tokens die rechnerische Effizienz erheblich. In letzter Zeit wurden viele Pruning-Methoden vorgeschlagen, um redundante Tokens zu entfernen und effiziente Visions-Transformer zu realisieren. Bestehende Studien konzentrieren sich jedoch hauptsächlich auf die Token-Bedeutung, um lokale aufmerksame Tokens zu bewahren, und ignorieren vollständig die globale Token-Vielfalt. In dieser Arbeit betonen wir die Bedeutung vielfältiger globaler Semantik und schlagen eine effiziente Methode zur Trennung und Zusammenführung von Tokens vor, die sowohl die Token-Bedeutung als auch die Vielfalt bei der Token-Pruning berücksichtigen kann. Basierend auf der Klassentoken-Aufmerksamkeit trennen wir aufmerksame und unaufmerksame Tokens. Neben der Erhaltung der diskriminativsten lokalen Tokens fügen wir ähnliche unaufmerksame Tokens zusammen und passen homogene aufmerksame Tokens an, um die Token-Vielfalt zu maximieren. Trotz ihrer Einfachheit erreicht unsere Methode ein vielversprechendes Verhältnis zwischen Modellkomplexität und Klassifikationsgenauigkeit. Bei DeiT-S reduziert unsere Methode die FLOPs um 35 % mit einem Genauigkeitsverlust von nur 0,2 %. Bemerkenswerterweise verbessert unsere Methode dank der Erhaltung der Token-Vielfalt sogar die Genauigkeit von DeiT-T um 0,1 % nach einer Reduktion der FLOPs um 40 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp