BABEL ist ein umfangreicher Datensatz mit linguistischen Anmerkungen, die die in Mocap-Sequenzen stattfindenden Aktionen beschreiben. BABEL enthält Aktionsanmerkungen zu etwa 43 Stunden Mocap-Sequenzen aus dem AMASS-Datensatz. Die Aktionsannotation weist zwei Abstraktionsebenen auf: Die Sequenzannotation beschreibt die Gesamtaktion in einer Sequenz, während die Frameannotation alle Aktionen in jedem Frame der Sequenz beschreibt. Jede Frame-Annotation ist genau auf die Dauer der entsprechenden Aktion in der Mocap-Sequenz ausgerichtet und mehrere Aktionen können sich überlappen.

Der Datensatz enthält mehr als 28.000 Sequenzanmerkungen und 63.000 Frameanmerkungen, die mehr als 250 einzigartige Aktionskategorien abdecken. BABEL-Annotationen können für Aufgaben wie Aktionserkennung, zeitliche Aktionslokalisierung und Bewegungssynthese verwendet werden.