L'hyperonymie, l'entailment textuel et la légendage d'images peuvent être considérés comme des cas particuliers d'une hiérarchie visuelle-sémantique unique englobant les mots, les phrases et les images. Dans cet article, nous prônons la modélisation explicite de la structure d'ordre partiel de cette hiérarchie. Pour atteindre cet objectif, nous présentons une méthode générale pour l'apprentissage de représentations ordonnées, et montrons comment elle peut être appliquée à diverses tâches impliquant des images et le langage. Nous démontrons que les représentations ainsi obtenues améliorent les performances par rapport aux approches actuelles pour la prédiction d'hyperonymes et la recherche d'images-légendes.