FlexConv: Kontinuierliche Kernfaltungen mit differenzierbaren Kerngrößen

Beim Design von Faltungsneuronalen Netzen (CNNs) muss die Größe der Faltungskerne vor dem Training ausgewählt werden. Neuere Arbeiten zeigen, dass CNNs von unterschiedlichen Kerngrößen in verschiedenen Schichten profitieren, aber die Exploration aller möglichen Kombinationen ist in der Praxis nicht realisierbar. Ein effizienterer Ansatz besteht darin, die Kerngröße während des Trainings zu lernen. Allerdings haben existierende Arbeiten, die die Kerngröße lernen, eine begrenzte Bandbreite. Diese Ansätze skalieren Kerne durch Dilatation, und daher sind die Details, die sie beschreiben können, begrenzt. In dieser Arbeit schlagen wir FlexConv vor, eine neuartige Faltungsvorgangsweise, mit der hochfrequenzfähige Faltungskerne mit lernfähiger Kerngröße bei einem festen Parameterkosten lernen können. FlexNets modellieren langfristige Abhängigkeiten ohne den Einsatz von Pooling-Operationen, erzielen Spitzenleistungen auf mehreren sequentiellen Datensätzen und übertreffen jüngste Arbeiten mit gelernten Kerngrößen. Zudem sind sie mit viel tieferen ResNets auf Bild-Benchmark-Datensätzen wettbewerbsfähig. Darüber hinaus können FlexNets bei höheren Auflösungen als denen, die während des Trainings gesehen wurden, eingesetzt werden. Um Verzerrungen zu vermeiden, schlagen wir eine neuartige Kernel-Parametrisierung vor, mit der die Frequenz der Kerne analytisch gesteuert werden kann. Unsere neuartige Kernel-Parametrisierung zeigt eine höhere deskriptive Leistungsfähigkeit und eine schnellere Konvergenzgeschwindigkeit als bestehende Parametrisierungen. Dies führt zu wichtigen Verbesserungen in der Klassifikationsgenauigkeit.