Command Palette
Search for a command to run...
Neubewertung der lokalen Wahrnehmung in Lightweight Vision Transformers
Neubewertung der lokalen Wahrnehmung in Lightweight Vision Transformers
Qihang Fan Huaibo Huang Jiyang Guan Ran He
Zusammenfassung
Vision Transformers (ViTs) haben sich in verschiedenen Aufgaben des maschinellen Sehens als wirksam erwiesen. Allerdings führt ihre Anpassung an eine für mobile Geräte geeignete Größe zu einer erheblichen Leistungsverschlechterung. Daher ist die Entwicklung leichtgewichtiger Vision Transformers zu einem zentralen Forschungsbereich geworden. In diesem Artikel wird CloFormer vorgestellt, ein leichtgewichtiger Vision Transformer, der kontextbewusste lokale Verbesserungen nutzt. CloFormer untersucht die Beziehung zwischen global geteilten Gewichten, die typischerweise in herkömmlichen Faltungsoperatoren verwendet werden, und token-spezifischen, kontextbewussten Gewichten, die in Aufmerksamkeitsmechanismen auftreten. Auf dieser Grundlage wird ein effektives und einfaches Modul vorgeschlagen, das hochfrequente lokale Informationen erfassen kann. In CloFormer wird AttnConv eingeführt, ein Faltungsoperator im Stil der Aufmerksamkeit. Der vorgeschlagene AttnConv nutzt geteilte Gewichte zur Aggregation lokaler Informationen und setzt sorgfältig entworfene kontextbewusste Gewichte ein, um lokale Merkmale zu verstärken. Die Kombination aus AttnConv und herkömmlicher Aufmerksamkeit, die durch Pooling die FLOPs reduziert, ermöglicht es dem Modell, sowohl hochfrequente als auch niederfrequente Informationen wahrzunehmen. Umfassende Experimente in den Bereichen Bildklassifikation, Objekterkennung und semantische Segmentierung belegen die Überlegenheit von CloFormer. Der Quellcode ist unter \url{https://github.com/qhfan/CloFormer} verfügbar.