ShapeWorld-Datensatz Zum Multimodalen Sprachverständnis

ShapeWorld ist eine neuartige Methode und ein Framework zur Bewertung multimodaler Deep-Learning-Modelle, das sich auf die Generalisierungsfähigkeit des formalen semantischen Stils konzentriert. In diesem Rahmen werden künstliche Daten automatisch nach vordefinierten Spezifikationen generiert. Diese kontrollierte Datengenerierung ermöglicht es, bei der Auswertung bisher unbekannte Instanzkonfigurationen einzuführen, wodurch das System erlernte Konzepte auf neuartige Weise neu kombinieren muss.

Das MIT hat diesen Datensatz veröffentlicht.