Reversible Column Networks

Wir stellen ein neues Paradigma für neuronale Netzwerke vor: das reversible Spaltennetzwerk (Reversible Column Network, RevCol). Der Hauptteil von RevCol besteht aus mehreren Kopien von Unternetzen, die jeweils als „Spalten“ bezeichnet werden, zwischen denen mehrstufige reversible Verbindungen etabliert sind. Dieses architektonische Konzept verleiht RevCol ein Verhalten, das sich deutlich von herkömmlichen Netzwerken unterscheidet: Während der Vorwärtspropagation werden die Merkmale in RevCol schrittweise entkoppelt, wenn sie durch jede Spalte hindurchgehen. Dabei wird die Gesamtinformation bewahrt, im Gegensatz zu anderen Netzwerken, bei denen Informationen häufig komprimiert oder verworfen werden. Unsere Experimente zeigen, dass CNN-artige RevCol-Modelle auf mehreren Aufgaben des maschinellen Sehens – wie Bildklassifizierung, Objektdetektion und semantische Segmentierung – sehr konkurrenzfähige Ergebnisse erzielen, insbesondere bei großem Parameterbudget und großen Datensätzen. Beispielsweise erreicht RevCol-XL nach Vortrainierung auf ImageNet-22K eine Genauigkeit von 88,2 % auf ImageNet-1K. Bei noch umfangreicheren Vortrainingsdaten erreicht unser größtes Modell, RevCol-H, eine Genauigkeit von 90,0 % auf ImageNet-1K, 63,8 % APbox auf dem COCO-Detektionsminival-Set und 61,0 % mIoU auf der ADE20k-Segmentierungsaufgabe. Sofern wir informiert sind, stellt dies die beste Leistung unter reinen (statischen) CNN-Modellen für COCO-Detektion und ADE20k-Segmentierung dar. Darüber hinaus kann RevCol als allgemeine makroarchitektonische Struktur auch in Transformers oder andere neuronale Netzwerke integriert werden, was sich in verbesserten Ergebnissen sowohl für Aufgaben im Bereich Computer Vision als auch in der natürlichen Sprachverarbeitung (NLP) bestätigt hat. Den Quellcode und die Modelle stellen wir unter https://github.com/megvii-research/RevCol zur Verfügung.