HyperAIHyperAI

Command Palette

Search for a command to run...

FlexConv: Kontinuierliche Kernfaltungen mit differenzierbaren Kerngrößen

David W. Romero∗1, Robert-Jan Bruintjes∗2, Erik J. Bekkers3, Jakub M. Tomczak1, Mark Hoogendoorn1, Jan C. van Gemert2

Zusammenfassung

Beim Design von Faltungsneuronalen Netzen (CNNs) muss die Größe der Faltungskerne vor dem Training ausgewählt werden. Neuere Arbeiten zeigen, dass CNNs von unterschiedlichen Kerngrößen in verschiedenen Schichten profitieren, aber die Exploration aller möglichen Kombinationen ist in der Praxis nicht realisierbar. Ein effizienterer Ansatz besteht darin, die Kerngröße während des Trainings zu lernen. Allerdings haben existierende Arbeiten, die die Kerngröße lernen, eine begrenzte Bandbreite. Diese Ansätze skalieren Kerne durch Dilatation, und daher sind die Details, die sie beschreiben können, begrenzt. In dieser Arbeit schlagen wir FlexConv vor, eine neuartige Faltungsvorgangsweise, mit der hochfrequenzfähige Faltungskerne mit lernfähiger Kerngröße bei einem festen Parameterkosten lernen können. FlexNets modellieren langfristige Abhängigkeiten ohne den Einsatz von Pooling-Operationen, erzielen Spitzenleistungen auf mehreren sequentiellen Datensätzen und übertreffen jüngste Arbeiten mit gelernten Kerngrößen. Zudem sind sie mit viel tieferen ResNets auf Bild-Benchmark-Datensätzen wettbewerbsfähig. Darüber hinaus können FlexNets bei höheren Auflösungen als denen, die während des Trainings gesehen wurden, eingesetzt werden. Um Verzerrungen zu vermeiden, schlagen wir eine neuartige Kernel-Parametrisierung vor, mit der die Frequenz der Kerne analytisch gesteuert werden kann. Unsere neuartige Kernel-Parametrisierung zeigt eine höhere deskriptive Leistungsfähigkeit und eine schnellere Konvergenzgeschwindigkeit als bestehende Parametrisierungen. Dies führt zu wichtigen Verbesserungen in der Klassifikationsgenauigkeit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp