Ce document présente une nouvelle approche pour la génération automatique de descriptions d'images : des détecteurs visuels, des modèles de langage et des modèles de similarité multimodale appris directement à partir d'un ensemble de légendes d'images. Nous utilisons l'apprentissage par instances multiples pour former des détecteurs visuels de mots qui apparaissent fréquemment dans les légendes, y compris de nombreuses catégories grammaticales telles que les noms, les verbes et les adjectifs. Les sorties des détecteurs de mots servent d'entrées conditionnelles à un modèle de langage à entropie maximale. Le modèle de langage apprend à partir d'un ensemble de plus de 400 000 descriptions d'images pour capturer les statistiques de l'utilisation des mots. Nous capturons la sémantique globale en réordonnant les candidats aux légendes en utilisant des caractéristiques au niveau de la phrase et un modèle de similarité multimodale profond. Notre système est à l'état de l'art sur le banc d'essai officiel Microsoft COCO, produisant un score BLEU-4 de 29,1 %. Lorsque des juges humains comparent les légendes générées par notre système à celles écrites par d'autres personnes sur notre jeu de test réservé, les légendes du système ont une qualité égale ou supérieure 34 % du temps.