Wahrscheinlichkeitsbasierte neuronale Faltungsnetzwerke

Stetige Eingabesignale wie Bilder und Zeitreihen, die unregelmäßig abgetastet sind oder fehlende Werte aufweisen, stellen eine Herausforderung für bestehende Methoden des tiefen Lernens dar. Kohärent definierte Merkmalsdarstellungen müssen notwendigerweise von den Werten in nicht beobachteten Bereichen der Eingabe abhängen. Ausgehend von Arbeiten im Bereich der probabilistischen Numerik schlagen wir probabilistische numerische Faltungsneuronale Netze (Probabilistic Numeric Convolutional Neural Networks) vor, bei denen Merkmale als Gauss-Prozesse (GPs) repräsentiert werden und somit eine probabilistische Beschreibung des Diskretisierungsfehlers liefern. Wir definieren anschließend eine Faltungsschicht als Evolutionsprozess einer partiellen Differentialgleichung (PDE), die auf diesem GP definiert ist, gefolgt von einer Nichtlinearität. Dieser Ansatz ermöglicht zudem natürlich steuerbare, äquivariante Faltungen unter Gruppen wie der Drehgruppe. In Experimenten zeigen wir, dass unser Ansatz auf dem SuperPixel-MNIST-Datensatz eine Reduktion des Fehlers um das Dreifache im Vergleich zum vorherigen Stand der Technik erzielt und auf dem medizinischen Zeitreihendatensatz PhysioNet2012 konkurrenzfähige Ergebnisse liefert.