Eine effektive Zuordnung von Bildern und Sätzen hängt davon ab, wie gut ihre globale visuelle-semantische Ähnlichkeit gemessen werden kann. Auf der Beobachtung basierend, dass eine solche globale Ähnlichkeit aus einer komplexen Aggregation mehrerer lokaler Ähnlichkeiten zwischen paarweisen Instanzen von Bildern (Objekten) und Sätzen (Wörtern) entsteht, schlagen wir ein selektives multimodales Long Short-Term Memory Netzwerk (sm-LSTM) für eine instanzbasierte Zuordnung von Bildern und Sätzen vor. Das sm-LSTM umfasst bei jedem Zeitschritt ein multimodales kontextmoduliertes Aufmerksamkeitsschema, das selektiv auf ein Paar von Instanzen von Bild und Satz fokussieren kann, indem es paarweise instanzbasierte Saliencymaps für Bild und Satz vorhersagt. Für die ausgewählten paarweisen Instanzen werden ihre Darstellungen anhand der vorhergesagten Saliencymaps ermittelt und dann verglichen, um ihre lokale Ähnlichkeit zu messen. Durch die analoge Messung mehrerer lokaler Ähnlichkeiten in wenigen Zeitschritten aggregiert das sm-LSTM diese sequentiell mit den versteckten Zuständen, um einen endgültigen Matching-Score als gewünschte globale Ähnlichkeit zu erhalten. Umfangreiche Experimente zeigen, dass unser Modell Bilder und Sätze mit komplexem Inhalt gut zuordnen kann und auf zwei öffentlichen Benchmark-Datensätzen die besten bisher bekannten Ergebnisse erzielt.