HyperAIHyperAI

Command Palette

Search for a command to run...

DenseNets Reloaded: Paradigmenwechsel Jenseits von ResNets und ViTs

Donghyun Kim Byeongho Heo Dongyoon Han

Zusammenfassung

Dieses Papier belebt Dicht Verbundene Faltungsnetze (DenseNets) wieder und zeigt deren unterschätzte Effektivität im Vergleich zu vorherrschenden ResNet-Architekturen auf. Wir sind der Überzeugung, dass das Potenzial von DenseNets übersehen wurde, da unberührte Trainingsmethoden und traditionelle Designelemente ihre Fähigkeiten nicht vollständig zur Geltung brachten. Unsere Pilotstudie demonstriert die Stärke dichter Verbindungen durch Konkatenation, was darauf hinweist, dass DenseNets revitalisiert werden können, um mit modernen Architekturen konkurrieren zu können. Wir optimieren systematisch suboptimale Komponenten – architekturale Anpassungen, Blockneugestaltung und verbesserte Trainingsrezepte – um DenseNets zu erweitern und die Speichereffizienz zu steigern, während wir die Konkatenationsverbindungen beibehalten. Unsere Modelle, die einfache architekturale Elemente verwenden, übertreffen letztendlich den Swin Transformer, ConvNeXt und DeiT-III – Schlüsselarchitekturen in der Linie des residuellen Lernens. Darüber hinaus zeigen unsere Modelle nahezu standesgemäße Leistungen auf ImageNet-1K und konkurrieren mit den neuesten Modellen sowie Downstream-Aufgaben wie der semantischen Segmentierung von ADE20k und der Objekterkennung/Instanzsegmentierung von COCO. Schließlich liefern wir empirische Analysen, die die Vorteile der Konkatenation gegenüber additiven Verbindungen aufdecken und eine erneute Vorliebe für DenseNet-artige Designs fördern. Unser Code ist unter https://github.com/naver-ai/rdnet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp