NiceWebRL: Eine Python-Bibliothek für Mensch-Subjekt-Experimente mit Reinforcement-Learning-Umgebungen

Wir stellen NiceWebRL vor, ein Forschungswerkzeug, das Forschenden ermöglicht, Maschinenverstärkungslern-(RL-)Umgebungen für Online-Experimente mit menschlichen Probanden zu nutzen. NiceWebRL ist eine Python-Bibliothek, die es erlaubt, jede Jax-basierte Umgebung in eine Online-Schnittstelle zu transformieren und sowohl Einzel-Agenten- als auch Mehr-Agenten-Umgebungen unterstützt. Dadurch ermöglicht NiceWebRL, dass KI-Forscher:innen ihre Algorithmen mit menschlicher Leistung vergleichen können, Kognitionsforscher:innen maschinelle Lernalgorithmen als Theorien zur menschlichen Kognition testen können und Mehr-Agenten-Forscher:innen Algorithmen für die Zusammenarbeit zwischen Mensch und KI entwickeln können. Wir illustrieren die Möglichkeiten von NiceWebRL anhand dreier Fallstudien, die deren Potenzial zur Entwicklung von menschenähnlicher KI, menschenkompatibler KI und menschenunterstützender KI aufzeigen. In der ersten Fallstudie (menschenähnliche KI) ermöglicht NiceWebRL die Entwicklung eines neuartigen RL-Modells der Kognition. Hier unterstützt NiceWebRL die Bewertung dieses Modells anhand menschlicher Probanden in einer Gitterwelt sowie in Craftax, einer 2D-Minecraft-Umgebung. In der zweiten Fallstudie (menschenkompatible KI) wird ein neuartiger Mehr-Agenten-RL-Algorithmus entwickelt, der sich auf menschliche Partner im Overcooked-Setting generalisieren lässt. Schließlich zeigen wir in der dritten Fallstudie (menschenunterstützende KI), wie NiceWebRL Forschenden ermöglicht, zu untersuchen, wie ein Großes Sprachmodell (LLM) Menschen bei komplexen Aufgaben in XLand-Minigrid unterstützt, einer Umgebung mit Millionen hierarchischer Aufgaben. Die Bibliothek ist unter folgender URL verfügbar: https://...