Nous proposons une approche d'apprentissage de bout en bout pour la segmentation panoptique, une tâche novatrice qui unifie la segmentation d'instances (objets) et la segmentation sémantique (éléments). Notre modèle, TASCNet, utilise des cartes de caractéristiques issues d'un réseau de base partagé pour prédire, en une seule passe avant-propagation, à la fois les segmentations d'objets et d'éléments. Nous contrainsons explicitement ces deux distributions de sortie par le biais d'un masque binaire global d'objets et d'éléments afin de garantir la cohérence inter-tâches. Le réseau unifié que nous proposons est compétitif avec l'état de l'art sur plusieurs benchmarks de segmentation panoptique ainsi que sur les tâches individuelles de segmentation sémantique et d'instance.