HyperAIHyperAI

Command Palette

Search for a command to run...

Neubewertung der lokalen Wahrnehmung in Lightweight Vision Transformers

Qihang Fan Huaibo Huang Jiyang Guan Ran He

Zusammenfassung

Vision Transformers (ViTs) haben sich in verschiedenen Aufgaben des maschinellen Sehens als wirksam erwiesen. Allerdings führt ihre Anpassung an eine für mobile Geräte geeignete Größe zu einer erheblichen Leistungsverschlechterung. Daher ist die Entwicklung leichtgewichtiger Vision Transformers zu einem zentralen Forschungsbereich geworden. In diesem Artikel wird CloFormer vorgestellt, ein leichtgewichtiger Vision Transformer, der kontextbewusste lokale Verbesserungen nutzt. CloFormer untersucht die Beziehung zwischen global geteilten Gewichten, die typischerweise in herkömmlichen Faltungsoperatoren verwendet werden, und token-spezifischen, kontextbewussten Gewichten, die in Aufmerksamkeitsmechanismen auftreten. Auf dieser Grundlage wird ein effektives und einfaches Modul vorgeschlagen, das hochfrequente lokale Informationen erfassen kann. In CloFormer wird AttnConv eingeführt, ein Faltungsoperator im Stil der Aufmerksamkeit. Der vorgeschlagene AttnConv nutzt geteilte Gewichte zur Aggregation lokaler Informationen und setzt sorgfältig entworfene kontextbewusste Gewichte ein, um lokale Merkmale zu verstärken. Die Kombination aus AttnConv und herkömmlicher Aufmerksamkeit, die durch Pooling die FLOPs reduziert, ermöglicht es dem Modell, sowohl hochfrequente als auch niederfrequente Informationen wahrzunehmen. Umfassende Experimente in den Bereichen Bildklassifikation, Objekterkennung und semantische Segmentierung belegen die Überlegenheit von CloFormer. Der Quellcode ist unter \url{https://github.com/qhfan/CloFormer} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp