HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von implizit rekurrenten CNNs durch Parameterfreigabe

["name": "Pedro Savarese" "affiliation": "TTI-Chicago" "name": "Michael Maire" "affiliation": "University of Chicago"]

Zusammenfassung

Wir stellen ein Parametersharing-Verfahren vor, bei dem verschiedene Schichten eines Faltungsneuronalen Netzes (CNN) durch eine gelernte lineare Kombination von Parametertensoren aus einer globalen Vorlagenbank definiert werden. Die Einschränkung der Anzahl der Vorlagen führt zu einer flexiblen Hybridisierung traditioneller CNNs und rekurrenter Netze. Im Vergleich zu traditionellen CNNs zeigen wir erhebliche Parameterersparnisse bei Standardbildklassifizierungsaufgaben, wobei die Genauigkeit beibehalten wird.Unser einfaches Parametersharing-Verfahren, obwohl durch weiche Gewichte definiert, ergibt in der Praxis oft trainierte Netzwerke mit fast strenger rekurrenter Struktur; sie können mit vernachlässigbaren Nebeneffekten in Netzwerke mit tatsächlichen Schleifen umgewandelt werden. Das Training dieser Netzwerke impliziert daher implizit die Entdeckung geeigneter rekurrenter Architekturen. Obwohl wir uns nur mit dem Designaspekt der rekurrenten Verbindungen befassen, erreichen unsere trainierten Netzwerke eine Genauigkeit, die mit denjenigen vergleichbar ist, die mithilfe modernster Verfahren zur Such nach neuronalen Architekturen (Neural Architecture Search, NAS) erstellt wurden.Die Hybridisierung von rekurrenten und faltenden Netzen kann auch einen vorteilhaften architektonischen Bias darstellen. Insbesondere bei synthetischen Aufgaben, die algorithmisch sind, trainieren unsere hybriden Netzwerke schneller und generalisieren besser auf Testbeispiele außerhalb des Bereichs des Trainingsdatensatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp