PDO-eConvs: Konvolutionen basierend auf partiellen Differentialoperatoren

Neueste Forschungen haben gezeigt, dass die Einbeziehung von Äquivarianz in die Architekturen neuronaler Netze sehr hilfreich ist, und es gibt einige Arbeiten, die sich mit der Äquivarianz von Netzwerken unter Gruppenoperationen befassen. Allerdings sind digitale Bilder und Merkmalskarten auf einem diskreten Gitter definiert, wodurch die entsprechenden äquivarianz-bewahrenden Transformationsgruppen stark eingeschränkt sind. In dieser Arbeit adressieren wir dieses Problem durch den Zusammenhang zwischen Faltungen und partiellen Differentialoperatoren (PDOs). Theoretisch ausgehend von glatten Eingaben, transformieren wir PDOs und schlagen ein System vor, das zu einer viel allgemeineren kontinuierlichen Gruppe, der $n$-dimensionalen euklidischen Gruppe, äquivariant ist. Bei der Implementierung diskretisieren wir das System unter Verwendung numerischer Verfahren für PDOs und leiten daraus approximativ äquivariante Faltungen (PDO-eConvs) ab. Theoretisch beträgt der Approximationsfehler von PDO-eConvs quadratische Ordnung. Es ist das erste Mal, dass eine Fehleranalyse bei approximativer Äquivarianz bereitgestellt wird. Umfangreiche Experimente an rotierten MNIST-Daten und natürlichen Bildern zur Klassifikation zeigen, dass PDO-eConvs wettbewerbsfähig performen und gleichzeitig die Parameter viel effizienter nutzen. Insbesondere erzielen unsere Methoden im Vergleich zu Wide ResNets bessere Ergebnisse mit nur 12,6 % der Parameter.