Progressive Neuronale Netze

Das Lernen, komplexe Aufgabenfolgen zu lösen – während gleichzeitig von Transfer profitiert wird und katastrophales Vergessen vermieden wird – bleibt ein wesentlicher Hindernis auf dem Weg zur Erreichung menschlichen Intellekts. Der Ansatz der progressiven Netzwerke stellt einen Schritt in diese Richtung dar: Sie sind immun gegen das Vergessen und können durch laterale Verbindungen zu vorher gelernten Merkmalen auf vorhandenes Wissen zurückgreifen. Wir evaluieren diese Architektur umfassend an einer Vielzahl von Reinforcement-Learning-Aufgaben (Atari- und 3D-Labyrinthspiele) und zeigen, dass sie übliche Baseline-Methoden, die auf Vorabtrainierung und Feinabstimmung basieren, übertrifft. Mit Hilfe eines neuen Sensitivitätsmaßes demonstrieren wir, dass der Transfer sowohl auf den niedrigen sensorischen als auch auf den hohen Kontrollschichten der gelernten Politik stattfindet.