HyperAIHyperAI

Command Palette

Search for a command to run...

Rekurrente unabhängige Mechanismen

Anirudh Goyal Alex Lamb Jordan Hoffmann Shagun Sodhani Sergey Levine Yoshua Bengio Bernhard Schölkopf

Zusammenfassung

Die Lernung modularer Strukturen, die die Dynamik der Umwelt widerspiegeln, kann zu einer verbesserten Generalisierung und Robustheit gegenüber Veränderungen führen, die nur einige der zugrundeliegenden Ursachen betreffen. Wir stellen Rekurrente Unabhängige Mechanismen (RIMs) vor, eine neue rekurrente Architektur, bei der mehrere Gruppen rekurrenter Zellen mit nahezu unabhängigen Übergangs-Dynamiken arbeiten, sich nur sporadisch über den Engpass von Aufmerksamkeit (attention bottleneck) kommunizieren und nur zu Zeitpunkten aktualisiert werden, in denen sie am relevantesten sind. Wir zeigen, dass dies zu einer Spezialisierung innerhalb der RIMs führt, was wiederum eine deutlich verbesserte Generalisierung bei Aufgaben ermöglicht, bei denen einige Variationsfaktoren zwischen Trainings- und Evaluierungsphase systematisch voneinander abweichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp