DenseNets Reloaded: Paradigmenwechsel Jenseits von ResNets und ViTs

Dieses Papier belebt Dicht Verbundene Faltungsnetze (DenseNets) wieder und zeigt deren unterschätzte Effektivität im Vergleich zu vorherrschenden ResNet-Architekturen auf. Wir sind der Überzeugung, dass das Potenzial von DenseNets übersehen wurde, da unberührte Trainingsmethoden und traditionelle Designelemente ihre Fähigkeiten nicht vollständig zur Geltung brachten. Unsere Pilotstudie demonstriert die Stärke dichter Verbindungen durch Konkatenation, was darauf hinweist, dass DenseNets revitalisiert werden können, um mit modernen Architekturen konkurrieren zu können. Wir optimieren systematisch suboptimale Komponenten – architekturale Anpassungen, Blockneugestaltung und verbesserte Trainingsrezepte – um DenseNets zu erweitern und die Speichereffizienz zu steigern, während wir die Konkatenationsverbindungen beibehalten. Unsere Modelle, die einfache architekturale Elemente verwenden, übertreffen letztendlich den Swin Transformer, ConvNeXt und DeiT-III – Schlüsselarchitekturen in der Linie des residuellen Lernens. Darüber hinaus zeigen unsere Modelle nahezu standesgemäße Leistungen auf ImageNet-1K und konkurrieren mit den neuesten Modellen sowie Downstream-Aufgaben wie der semantischen Segmentierung von ADE20k und der Objekterkennung/Instanzsegmentierung von COCO. Schließlich liefern wir empirische Analysen, die die Vorteile der Konkatenation gegenüber additiven Verbindungen aufdecken und eine erneute Vorliebe für DenseNet-artige Designs fördern. Unser Code ist unter https://github.com/naver-ai/rdnet verfügbar.