Repräsentationskompensationsnetze für kontinuierliche semantische Segmentierung

In dieser Arbeit untersuchen wir das Problem der kontinuierlichen semantischen Segmentierung, bei dem tiefen neuronale Netze ständig neue Klassen integrieren müssen, ohne dabei katastrophales Vergessen zu erleiden. Wir schlagen ein strukturelles Re-Parametrisierungsmechanismus vor, den wir als Repräsentationskompensationsmodul (Representation Compensation (RC) Module) bezeichnen, um die Lernprozesse von altem und neuem Wissen voneinander zu trennen. Das RC-Modul besteht aus zwei dynamisch entwickelten Zweigen, wobei einer gefroren und der andere trainierbar ist. Darüber hinaus haben wir eine gepoolte Kubus-Wissensdistillationsstrategie in räumlicher und kanalbasierter Dimension entwickelt, um die Plastizität und Stabilität des Modells weiter zu verbessern. Wir führen Experimente in zwei anspruchsvollen Szenarien der kontinuierlichen semantischen Segmentierung durch: kontinuierliche Klassensegmentierung und kontinuierliche Domänensegmentierung. Unser Verfahren übertrifft den Stand der Technik in Bezug auf Leistung, ohne zusätzlichen Rechenaufwand oder Parameter während der Inferenz zu erzeugen. Der Quellcode ist unter \url{https://github.com/zhangchbin/RCIL} verfügbar.