Ada-Segment: Automatisierte Multi-Loss-Anpassung für Panoptic Segmentation

Die Panoptic-Segmentation, die Instance-Segmentation und Semantic-Segmentation vereint, hat in letzter Zeit zunehmend Aufmerksamkeit erlangt. Während die meisten bestehenden Ansätze darauf abzielen, neue Architekturen zu entwickeln, verfolgen wir einen anderen Ansatz: Wir führen eine automatisierte, auf der Flucht angepasste Mehrfachverlustanpassung (benannt Ada-Segment) durch, um während des Trainings mehrere Verlustfunktionen flexibel zu regulieren, mithilfe eines Controllers, der darauf trainiert ist, die Lern-Dynamiken zu erfassen. Dies bietet mehrere Vorteile: Es entfällt die manuelle Abstimmung der empfindlichen Verlustkombination, eines entscheidenden Faktors für die Panoptic-Segmentation; es ermöglicht die explizite Modellierung der Lern-Dynamiken und die Harmonisierung des Lernens mehrerer Ziele (bis zu zehn in unseren Experimenten); zudem generalisiert die end-to-end-Architektur auf verschiedene Datensätze, ohne dass Hyperparameter neu abgestimmt oder der Trainingsprozess mühsam angepasst werden müssen. Unser Ada-Segment erzielt eine Verbesserung der Panoptic-Qualität (PQ) um 2,7 % auf dem COCO-Validierungssplit gegenüber der Basislinie und erreicht damit den Stand der Technik mit 48,5 % PQ auf dem COCO-Test-Dev-Split sowie 32,9 % PQ auf dem ADE20K-Datensatz. Umfangreiche Ablationsstudien offenbaren die sich ständig verändernden Dynamiken während des Trainingsprozesses und unterstreichen die Notwendigkeit einer automatisierten, adaptiven Lernstrategie, wie sie in dieser Arbeit vorgestellt wird.