HyperAIHyperAI

Command Palette

Search for a command to run...

Meta-World: Eine Benchmark und Bewertung für Multi-Task- und Meta-Reinforcement-Learning

Tianhe Yu Deirdre Quillen Zhanpeng He Ryan Julian Avnish Narayan Hayden Shively Adithya Bellathur Karol Hausman Chelsea Finn Sergey Levine

Zusammenfassung

Meta-Verstärkungslernalgorithmen können Robotern ermöglichen, neue Fähigkeiten erheblich schneller zu erwerben, indem sie vorherige Erfahrungen nutzen, um zu lernen, wie man lernt. Doch der größte Teil der aktuellen Forschung im Bereich Meta-Verstärkungslernen konzentriert sich auf sehr enge Aufgabendistributionen. Ein typisches Beispiel hierfür ist ein gängiger Benchmark für Meta-Verstärkungslernen, bei dem verschiedene Laufgeschwindigkeiten eines simulierten Roboters als unterschiedliche Aufgaben betrachtet werden. Wenn Policy-Modelle auf solch engen Aufgabendistributionen meta-gelernt werden, können sie unmöglich generalisieren, um neue, völlig unterschiedliche Aufgaben schneller zu erlernen. Folglich müssen diese Methoden dann auch an Aufgabendistributionen evaluiert werden, die ausreichend breit sind, um eine Generalisierung auf neue Verhaltensweisen zu ermöglichen, wenn das Ziel darin besteht, den schnellen Erwerb völlig neuer Verhaltensweisen zu unterstützen. In diesem Paper stellen wir einen quelloffenen simulierten Benchmark für Meta-Verstärkungslernen und Mehraufgabenlernen vor, der aus 50 unterschiedlichen Aufgaben im Bereich robotischer Manipulation besteht. Unser Ziel ist es, die Entwicklung von Algorithmen zu ermöglichen, die generalisieren und so den schnellen Erwerb völlig neuer, ausgelassener Aufgaben beschleunigen. Wir evaluieren sieben state-of-the-art-Algorithmen für Meta-Verstärkungslernen und Mehraufgabenlernen an diesen Aufgaben. Überraschenderweise gelingt es zwar jedem einzelnen Task und dessen Variationen (z. B. mit unterschiedlichen Objektpositionen) mit annehmbarer Erfolgsquote, jedoch scheitern diese Algorithmen daran, gleichzeitig mehrere Aufgaben zu lernen – selbst bei lediglich zehn unterschiedlichen Trainingsaufgaben. Unsere Analyse und die veröffentlichten Simulationsumgebungen legen den Grundstein für zukünftige Forschung im Bereich Mehraufgabenlernen und Meta-Lernen, die echte Generalisierung ermöglichen und somit das volle Potenzial dieser Methoden erschließen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Meta-World: Eine Benchmark und Bewertung für Multi-Task- und Meta-Reinforcement-Learning | Paper | HyperAI