Abstract

Die Entwicklung von verkörperten Agenten, die in realen Szenarien komplexe interaktive Aufgaben ausführen können, bleibt eine grundlegende Herausforderung im Bereich der verkörperten Künstlichen Intelligenz (AI). Obwohl kürzliche Fortschritte bei Simulationsplattformen die Aufgabenvielfalt zur Schulung von verkörperten Vision-Language-Modellen (VLMs) erheblich verbessert haben, basieren die meisten Plattformen auf vereinfachten Robotermorphologien und umgehen das stochastische Verhalten der Niveauausführung, was ihre Übertragbarkeit auf reale Roboter einschränkt. Um diese Probleme zu lösen, stellen wir eine physikbasierte Simulationsplattform namens DualTHOR für komplexe zweiarmlige humanoide Roboter vor, die auf einer erweiterten Version von AI2-THOR basiert. Unser Simulator enthält reale Roboterkomponenten, eine Aufgabenbibliothek für die Zusammenarbeit mit zwei Armen und inverse Kinematik-Löser für humanoide Roboter. Wir führen außerdem ein Kontingenzmechanismus ein, der potenzielle Fehler durch physikbasierte Niveauausführung berücksichtigt und so den Übergang zu realen Szenarien erleichtert. Unser Simulator ermöglicht eine umfassendere Bewertung der Robustheit und Generalisierungsfähigkeit von VLMs in häuslichen Umgebungen. Ausführliche Evaluierungen zeigen, dass aktuelle VLMs Schwierigkeiten bei der Koordination zweier Arme haben und in realistischen Umgebungen mit Kontingenz nur begrenzt robust sind. Dies unterstreicht die Bedeutung unserer Simulator-Plattform zur Entwicklung fähigerer VLMs für verkörperte Aufgaben. Der Quellcode ist unter https://github.com/ds199895/DualTHOR.git verfügbar.