HyperAIHyperAI

Command Palette

Search for a command to run...

Das kompakte Unterstützung Neural Network

Adrian Barbu Hongyu Mou

Zusammenfassung

Neuronale Netzwerke sind in vielen Bereichen beliebt und nützlich, weisen jedoch das Problem auf, hohe Konfidenz bei Vorhersagen für Beispiele zu liefern, die von den Trainingsdaten abweichen. Dadurch können neuronale Netzwerke bei groben Fehlern äußerst zuversichtlich sein, was ihre Zuverlässigkeit für sicherheitskritische Anwendungen wie autonome Fahrt oder Weltraumexploration erheblich einschränkt. In diesem Artikel wird eine neuartige Neuronengeneralisierung vorgestellt, die das herkömmliche, auf Skalarprodukten basierende Neuron und das {\color{black} radial basis function (RBF)}-Neuron als zwei Extremfälle eines Formparameters umfasst. Die Verwendung einer ReLU-Aktivierungsfunktion führt zu einem neuen Neuron mit kompaktem Träger, was bedeutet, dass seine Ausgabe außerhalb eines beschränkten Bereichs null ist. Um die Herausforderungen beim Training des vorgeschlagenen neuronalen Netzwerks zu bewältigen, wird ein neuartiges Trainingsverfahren eingeführt, das ein bereits vortrainiertes standardmäßiges neuronales Netzwerk verwendet, das schrittweise während des Fine-Tunings den Formparameter auf den gewünschten Wert erhöht. Theoretische Ergebnisse des Papers umfassen eine Abschätzung der Ableitung des vorgeschlagenen Neurons sowie einen Beweis dafür, dass ein neuronales Netzwerk mit solchen Neuronen die universelle Approximationseigenschaft besitzt. Das bedeutet, dass das Netzwerk jede stetige und integrierbare Funktion mit beliebiger Genauigkeit approximieren kann. Experimentelle Ergebnisse auf Standard-Benchmark-Datensätzen zeigen, dass der vorgeschlagene Ansatz kleinere Testfehler als die derzeit besten konkurrierenden Methoden erzielt und auf zwei von drei Datensätzen die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution) Beispielen gegenüber den Konkurrenzmethoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Das kompakte Unterstützung Neural Network | Paper | HyperAI