Inter-Region-Affinitäts-Distillation für die Segmentierung von Fahrbahnmarkierungen

Wir untersuchen das Problem der Wissens-Distillation von einem großen tiefen Lehrer-Netzwerk auf ein viel kleineres Schüler-Netzwerk für die Aufgabe der Straßenmarkierungs-Segmentierung. In dieser Arbeit erforschen wir einen neuartigen Ansatz zur Wissens-Distillation (KD), der das „Wissen“ über die Szenenstruktur effektiver vom Lehrer- auf das Schüler-Modell übertragen kann. Unser Verfahren wird als Inter-Region Affinity KD (IntRA-KD) bezeichnet. Es zerlegt ein gegebenes Straßen-Szenenbild in verschiedene Regionen und stellt jede Region als einen Knoten in einem Graphen dar. Anschließend wird ein Inter-Region-Affinitäts-Graph aufgebaut, indem paarweise Beziehungen zwischen den Knoten basierend auf der Ähnlichkeit ihrer Merkmalsverteilung hergestellt werden. Um strukturelles Wissen aus dem Lehrer-Netzwerk zu erlernen, muss der Schüler den vom Lehrer generierten Graphen nachbilden. Das vorgeschlagene Verfahren erzielt vielversprechende Ergebnisse auf drei großen Benchmarks für Straßenmarkierungs-Segmentierung, nämlich ApolloScape, CULane und LLAMAS, wobei verschiedene leichte Modelle als Schüler und ResNet-101 als Lehrer verwendet werden. IntRA-KD bringt im Vergleich zu früheren Distillation-Methoden konsistent höhere Leistungssteigerungen auf allen leichten Modellen hervor. Unser Quellcode ist unter https://github.com/cardwing/Codes-for-IntRA-KD verfügbar.