Konsens synergisiert mit Gedächtnis: Ein einfacher Ansatz zur Anomalie-Segmentierung in städtischen Szenen

Anomalie-Segmentierung ist eine entscheidende Aufgabe für sicherheitskritische Anwendungen wie autonome Fahrt in städtischen Szenen, bei der das Ziel darin besteht, außerhalb der Verteilung liegende (OOD) Objekte mit während des Trainings nicht gesehenen Kategorien zu erkennen. Die zentrale Herausforderung dieser Aufgabe besteht darin, schwierige innerhalb der Verteilung liegende Beispiele von OOD-Beispielen zu unterscheiden – ein Aspekt, der bisher noch nicht explizit behandelt wurde. In diesem Paper stellen wir einen neuartigen und einfachen Ansatz namens Consensus Synergizes with Memory (CosMe) vor, um diese Herausforderung zu bewältigen. Der Ansatz wurde inspiriert durch psychologische Erkenntnisse, wonach Gruppen bei Gedächtnisaufgaben besser abschneiden als Einzelpersonen. Der zentrale Gedanke besteht darin: 1) den Aufbau einer Speicherbank, die aus gesehenen Prototypen besteht, die aus mehreren Schichten eines vortrainierten Segmentierungsmodells extrahiert wurden, und 2) das Training eines Hilfsmodells, das das Verhalten des vortrainierten Modells nachahmt, wobei dann die Übereinstimmung (Consensus) ihrer mittleren Merkmale als ergänzende Hinweise verwendet wird, die synergistisch mit der Speicherbank wirken. CosMe zeigt sich besonders gut darin, schwierige innerhalb der Verteilung liegende Beispiele von OOD-Beispielen zu unterscheiden. Experimentelle Ergebnisse auf mehreren Datensätzen zur Anomalie-Segmentierung städtischer Szenen zeigen, dass CosMe bisherige Ansätze deutlich übertrifft.