Bild- und Sprach-Einbettungen in Ordnungsstrukturen

Hyperonymie, textuelle Implikation und Bildunterschriftgenerierung können als spezielle Fälle einer einzigen visuellen-semantischen Hierarchie über Wörter, Sätze und Bilder betrachtet werden. In dieser Arbeit plädieren wir dafür, die partielle Ordnungsstruktur dieser Hierarchie explizit zu modellieren. Um dieses Ziel zu erreichen, stellen wir eine allgemeine Methode zur Lernung geordneter Repräsentationen vor und zeigen, wie sie auf verschiedene Aufgaben angewendet werden kann, die Bilder und Sprache betreffen. Wir demonstrieren, dass die resultierenden Repräsentationen die Leistung bei der Hyperonym-Vorhersage und der Bild-Unterschrift-Retrieval im Vergleich zu aktuellen Ansätzen verbessern.