HyperAIHyperAI

Command Palette

Search for a command to run...

Reversible Column Networks

Yuxuan Cai Yizhuang Zhou Qi Han Jianjian Sun Xiangwen Kong Jun Li Xiangyu Zhang

Zusammenfassung

Wir stellen ein neues Paradigma für neuronale Netzwerke vor: das reversible Spaltennetzwerk (Reversible Column Network, RevCol). Der Hauptteil von RevCol besteht aus mehreren Kopien von Unternetzen, die jeweils als „Spalten“ bezeichnet werden, zwischen denen mehrstufige reversible Verbindungen etabliert sind. Dieses architektonische Konzept verleiht RevCol ein Verhalten, das sich deutlich von herkömmlichen Netzwerken unterscheidet: Während der Vorwärtspropagation werden die Merkmale in RevCol schrittweise entkoppelt, wenn sie durch jede Spalte hindurchgehen. Dabei wird die Gesamtinformation bewahrt, im Gegensatz zu anderen Netzwerken, bei denen Informationen häufig komprimiert oder verworfen werden. Unsere Experimente zeigen, dass CNN-artige RevCol-Modelle auf mehreren Aufgaben des maschinellen Sehens – wie Bildklassifizierung, Objektdetektion und semantische Segmentierung – sehr konkurrenzfähige Ergebnisse erzielen, insbesondere bei großem Parameterbudget und großen Datensätzen. Beispielsweise erreicht RevCol-XL nach Vortrainierung auf ImageNet-22K eine Genauigkeit von 88,2 % auf ImageNet-1K. Bei noch umfangreicheren Vortrainingsdaten erreicht unser größtes Modell, RevCol-H, eine Genauigkeit von 90,0 % auf ImageNet-1K, 63,8 % APbox auf dem COCO-Detektionsminival-Set und 61,0 % mIoU auf der ADE20k-Segmentierungsaufgabe. Sofern wir informiert sind, stellt dies die beste Leistung unter reinen (statischen) CNN-Modellen für COCO-Detektion und ADE20k-Segmentierung dar. Darüber hinaus kann RevCol als allgemeine makroarchitektonische Struktur auch in Transformers oder andere neuronale Netzwerke integriert werden, was sich in verbesserten Ergebnissen sowohl für Aufgaben im Bereich Computer Vision als auch in der natürlichen Sprachverarbeitung (NLP) bestätigt hat. Den Quellcode und die Modelle stellen wir unter https://github.com/megvii-research/RevCol zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp