L'indice de Jaccard, également connu sous le nom de score d'intersection sur union (IoU), est couramment utilisé pour évaluer les résultats de segmentation d'images en raison de ses qualités perceptuelles, de son invariance à l'échelle — qui attribue une pertinence appropriée aux petits objets — et de son comptage adéquat des faux négatifs, par rapport aux pertes par pixel. Nous présentons une méthode permettant l'optimisation directe de la perte moyenne d'intersection sur union dans les réseaux neuronaux, dans le contexte de la segmentation sémantique d'images, basée sur l'extension convexe de Lovász des pertes sous-modulaires. Cette perte est démontrée comme étant plus performante en termes de mesure de l'indice de Jaccard que la perte d'entropie croisée traditionnellement utilisée. Nous montrons les différences quantitatives et qualitatives entre l'optimisation de l'indice de Jaccard par image et l'optimisation de l'indice de Jaccard calculé sur un ensemble complet de données. Nous évaluons l'impact de notre méthode dans un pipeline de segmentation sémantique et montrons des améliorations substantielles des scores de segmentation d'intersection sur union sur les jeux de données Pascal VOC et Cityscapes, en utilisant des architectures avancées d'apprentissage profond pour la segmentation.