Gemeinsames Lehren für Graphen-Convolutional Networks

Graphenbasierte konvolutionelle Netzwerke erzielen aufgrund ihrer transduktiven Label-Propagation-Strategie gute Vorhersagen für unbeschriftete Proben. Da die Proben unterschiedliche Vorhersage-Sicherheiten aufweisen, nutzen wir die Vorhersagen mit hoher Sicherheit als Pseudolabels, um die Menge der Beschriftungen zu erweitern und somit mehr Proben zur Aktualisierung der Modelle auszuwählen. Wir schlagen eine neue Trainingsmethode namens „Mutual Teaching“ vor, bei der zwei Modelle gleichzeitig trainiert werden und sich während jedes Batchs gegenseitig unterrichten. Zunächst führen beide Netzwerke eine Vorwärtspropagation für alle Proben durch und wählen jene mit hochverlässlichen Vorhersagen aus. Anschließend wird jedes Modell mit den von seinem Partner-Netzwerk ausgewählten Proben aktualisiert. Wir betrachten die Vorhersagen mit hoher Sicherheit als nützliches Wissen, wobei das nützliche Wissen eines Netzwerks das andere Netzwerk durch die Modellaktualisierung in jedem Batch unterrichtet. Bei Mutual Teaching stammen die Pseudolabels eines Netzwerks aus seinem Partner-Netzwerk. Aufgrund der neuen Trainingsstrategie zeigt sich eine signifikante Leistungssteigerung. Umfangreiche experimentelle Ergebnisse belegen, dass unsere Methode unter sehr niedrigen Beschriftungsquoten eine überlegene Leistung gegenüber den aktuell besten Verfahren erzielt.