BABEL est un ensemble de données à grande échelle avec des annotations linguistiques décrivant les actions se déroulant dans les séquences de mocap. BABEL contient des annotations d'action d'environ 43 heures de séquences de mocap provenant de l'ensemble de données AMASS. L'annotation d'action comporte deux niveaux d'abstraction : l'annotation de séquence décrit l'action globale dans une séquence, tandis que l'annotation de trame décrit toutes les actions dans chaque trame de la séquence. Chaque annotation d'image est précisément alignée sur la durée de l'action correspondante dans la séquence mocap, et plusieurs actions peuvent se chevaucher.

L'ensemble de données contient plus de 28 000 annotations de séquence et 63 000 annotations de trame couvrant plus de 250 catégories d'actions uniques. Les annotations BABEL peuvent être utilisées pour des tâches telles que la reconnaissance d'actions, la localisation d'actions temporelles et la synthèse de mouvements.