Wir stellen eine neue Technik zur Lernvisuellen-Semantischen Einbettungen für die cross-modale Retrieval vor. Inspiriert von der Verwendung schwer negativer Beispiele im strukturierten Vorhersagemodell und Rangverlustfunktionen, führen wir eine einfache Änderung an den gängigen Verlustfunktionen ein, die für multimodale Einbettungen verwendet werden. Diese Änderung, kombiniert mit Feinabstimmung und der Nutzung erweiterter Daten, führt zu erheblichen Verbesserungen in der Retrieval-Leistung. Wir präsentieren unseren Ansatz, VSE++ (Visual-Semantic Embeddings++), anhand der Datensätze MS-COCO und Flickr30K durch Ausblendungsstudien und Vergleiche mit bestehenden Methoden. Auf MS-COCO übertrifft unser Ansatz die state-of-the-art-Methoden um 8,8 % bei der Caption-Retrieval und um 11,3 % bei der Image-Retrieval (bei R@1).