HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefe Residualsequenznetze mit Exponential-Linearer Einheit

Anish Shah Sameer Shinde Eashan Kadam Hena Shah Sandip Shingade

Zusammenfassung

Sehr tiefe Faltungsschicht-Neuronale Netze (Convolutional Neural Networks, CNNs) haben neue Probleme wie das Verschwinden des Gradienten und die Degradierung eingeführt. Kürzliche erfolgreiche Beiträge zur Lösung dieser Probleme sind die Residual-Netze und die Highway-Netze. Diese Netzwerke führen Übersprungskonnektivitäten (Skip Connections) ein, die es ermöglichen, dass Informationen (vom Eingang oder in früheren Schichten gelernt) besser in die tieferen Schichten fließen. Diese sehr tiefen Modelle haben zu einem erheblichen Rückgang der Testfehler auf Benchmarks wie ImageNet und COCO geführt. In dieser Arbeit schlagen wir vor, Exponential Linear Units (ELUs) anstelle der Kombination aus ReLU und Batch Normalisierung in Residual-Netzen zu verwenden. Wir zeigen, dass dies nicht nur das Lernen in Residual-Netzen beschleunigt, sondern auch die Genauigkeit mit zunehmender Tiefe verbessert. Es reduziert die Testfehler auf fast allen Datensätzen, wie CIFAR-10 und CIFAR-100.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Tiefe Residualsequenznetze mit Exponential-Linearer Einheit | Paper | HyperAI