HyperAIHyperAI

Command Palette

Search for a command to run...

Erweitern von Faltungsnetzwerken durch auf Aufmerksamkeit basierende Aggregation

Hugo Touvron Matthieu Cord Alaaeldin El-Nouby Piotr Bojanowski Armand Joulin Gabriel Synnaeve Hervé Jégou

Zusammenfassung

Wir zeigen, wie jeder konvolutionale Netzwerk durch eine auf Aufmerksamkeit basierende globale Karte zur Realisierung nicht-lokaler Inferenz erweitert werden kann. Wir ersetzen die letzte Durchschnitts-Pooling-Schicht durch eine auf Aufmerksamkeit basierende Aggregations-Schicht, die einer einzelnen Transformer-Block-Struktur ähnelt und gewichtet, wie die Patche bei der Klassifikationsentscheidung beteiligt sind. Diese gelernte Aggregations-Schicht wird mit einem einfachen, patchbasierten konvolutionalen Netzwerk verbunden, das durch lediglich zwei Parameter parametrisiert ist (Breite und Tiefe). Im Gegensatz zu einer pyramidenförmigen Architektur behält diese Architekturfamilie die ursprüngliche Patch-Auflösung über alle Schichten hinweg bei. Unseren Experimenten auf verschiedenen Aufgaben des maschinellen Sehens – wie Objektklassifikation, Bildsegmentierung und Objektdetektion – zufolge erzielt sie überraschend wettbewerbsfähige Kompromisse zwischen Genauigkeit und Komplexität, insbesondere hinsichtlich des Speicherverbrauchs.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp