Wir schlagen eine vollständig differenzierbare Architektur für die gleichzeitige semantische und instanzbasierte Segmentierung (auch Panoptic Segmentation genannt) vor, die aus einem konvolutionellen neuronalen Netzwerk und einem asymmetrischen Multiway-Cut-Problemlöser besteht. Letzterer löst ein kombinatorisches Optimierungsproblem, das semantische Vorhersagen und Randvorhersagen elegant integriert, um eine Panoptic-Bezeichnung zu erzeugen. Unser Ansatz ermöglicht es, direkt eine glatte Surrogatfunktion der Panoptic-Qualitätsmetrik zu maximieren, indem der Gradient durch das Optimierungsproblem zurückpropagiert wird. Experimentelle Evaluationen zeigen eine Verbesserung gegenüber vergleichbaren Ansätzen auf den Datensätzen Cityscapes und COCO, wenn der Gradient durch das Optimierungsproblem zurückpropagiert wird. Insgesamt demonstriert unser Ansatz die Nützlichkeit der Kombination kombinatorischer Optimierung mit tiefen Lernverfahren bei einer anspruchsvollen, großskaligen realen Weltanwendung und liefert wertvolle Erkenntnisse sowie Vorteile für das Training einer solchen Architektur.