Optimierung von Aufmerksamkeits- und kognitiven Steuerungskosten mittels zeitlich geschichteter Architekturen

Der derzeitige Rahmenwerk des Verstärkenden Lernens konzentriert sich ausschließlich auf Leistung, oft zu Lasten der Effizienz. Im Gegensatz dazu erreicht die biologische Steuerung bemerkenswerte Leistung, während gleichzeitig der rechnerische Energieverbrauch und die Frequenz von Entscheidungen optimiert werden. Wir stellen einen Entscheidungsbeschränkten Markov-Entscheidungsprozess (DB-MDP) vor, der die Anzahl verfügbarer Entscheidungen und den verfügbaren rechnerischen Energieaufwand für Agenten in Umgebungen des Verstärkenden Lernens einschränkt. Unsere Experimente zeigen, dass bestehende Algorithmen des Verstärkenden Lernens innerhalb dieses Rahmenswerkzeuges Schwierigkeiten haben und entweder scheitern oder suboptimale Leistung erzielen. Um dies zu beheben, führen wir eine biologisch inspirierte, zeitlich geschichtete Architektur (Temporally Layered Architecture, TLA) ein, die es Agenten ermöglicht, rechnerische Kosten über zwei Schichten mit unterschiedlichen Zeitskalen und Energieanforderungen zu steuern. Die TLA erreicht optimale Leistung in entscheidungsbeschränkten Umgebungen und erzielt in kontinuierlichen Steuerungsumgebungen Leistung auf dem Stand der Technik, wobei lediglich einen Bruchteil des Rechenaufwands genutzt wird. Im Vergleich zu derzeitigen Algorithmen des Verstärkenden Lernens, die ausschließlich die Leistung priorisieren, senkt unser Ansatz den rechnerischen Energieverbrauch erheblich, ohne die Leistung zu beeinträchtigen. Diese Ergebnisse legen eine Benchmark fest und eröffnen den Weg für zukünftige Forschung im Bereich energie- und zeitbewusster Steuerung.