FoMER Bench ist ein Foundational Model Embodied Reasoning (FoMER)-Benchmark, der 2025 von der Mohamed bin Zayed University of Artificial Intelligence, der Universität Linköping und der Australian National University veröffentlicht wurde.Wie gut sind Grundlagenmodelle im schrittweisen Embodied Reasoning?“, dessen Ziel es ist, die Denkfähigkeit von LMM in komplexen verkörperten Entscheidungsszenarien zu bewerten.

Dieser Datensatz enthält über 1.100 Beispiele und deckt detailliertes schrittweises Denken in zehn Aufgaben und acht Aufgaben zum verkörperten Denken ab. Er umfasst drei verschiedene Robotertypen und mehrere Robotermodi und ermöglicht die Bewertung von LLM-Fähigkeiten in verschiedenen Aufgaben, wie z. B. Vorhersage der nächsten Aktion, Handlungsermöglichung, körperlicher Menschenverstand, zeitliches Denken, Werkzeuggebrauch und -manipulation, Risikobewertung und Roboternavigation. Die Daten umfassen Multiple-Choice-Fragen (MCQs), Richtig/Falsch-Fragen (TFs) und offene Fragen. Jedes Beispiel wird von einer Eingabebeobachtung (Video oder Bildrahmen + Textaufforderung), mehreren möglichen Aktionen und entsprechenden schrittweisen Denkspuren begleitet.