Das kompakte Unterstützung Neural Network

Neuronale Netzwerke sind in vielen Bereichen beliebt und nützlich, weisen jedoch das Problem auf, hohe Konfidenz bei Vorhersagen für Beispiele zu liefern, die von den Trainingsdaten abweichen. Dadurch können neuronale Netzwerke bei groben Fehlern äußerst zuversichtlich sein, was ihre Zuverlässigkeit für sicherheitskritische Anwendungen wie autonome Fahrt oder Weltraumexploration erheblich einschränkt. In diesem Artikel wird eine neuartige Neuronengeneralisierung vorgestellt, die das herkömmliche, auf Skalarprodukten basierende Neuron und das {\color{black} radial basis function (RBF)}-Neuron als zwei Extremfälle eines Formparameters umfasst. Die Verwendung einer ReLU-Aktivierungsfunktion führt zu einem neuen Neuron mit kompaktem Träger, was bedeutet, dass seine Ausgabe außerhalb eines beschränkten Bereichs null ist. Um die Herausforderungen beim Training des vorgeschlagenen neuronalen Netzwerks zu bewältigen, wird ein neuartiges Trainingsverfahren eingeführt, das ein bereits vortrainiertes standardmäßiges neuronales Netzwerk verwendet, das schrittweise während des Fine-Tunings den Formparameter auf den gewünschten Wert erhöht. Theoretische Ergebnisse des Papers umfassen eine Abschätzung der Ableitung des vorgeschlagenen Neurons sowie einen Beweis dafür, dass ein neuronales Netzwerk mit solchen Neuronen die universelle Approximationseigenschaft besitzt. Das bedeutet, dass das Netzwerk jede stetige und integrierbare Funktion mit beliebiger Genauigkeit approximieren kann. Experimentelle Ergebnisse auf Standard-Benchmark-Datensätzen zeigen, dass der vorgeschlagene Ansatz kleinere Testfehler als die derzeit besten konkurrierenden Methoden erzielt und auf zwei von drei Datensätzen die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution) Beispielen gegenüber den Konkurrenzmethoden übertrifft.