Tiefer Einblick in Graph Convolutional Networks für semi-überwachtes Lernen

Viele interessante Probleme im maschinellen Lernen werden mit neuen Deep-Learning-Tools neu aufgegriffen. Ein wichtiger jüngster Fortschritt bei graphbasiertem semisupervisem Lernen sind Graph Convolutional Networks (GCNs), die lokale Knotenmerkmale und Graphentopologie elegant in den Faltungsschichten integrieren. Obwohl das GCN-Modell sich günstig mit anderen Stand der Technik vergleicht, sind seine Mechanismen noch nicht vollständig geklärt und es erfordert immer noch eine beträchtliche Menge an etikettierten Daten für die Validierung und Modellauswahl. In dieser Arbeit entwickeln wir ein tieferes Verständnis des GCN-Modells und untersuchen dessen grundlegende Grenzen. Zunächst zeigen wir, dass die Graphfaltung des GCN-Modells tatsächlich eine spezielle Form der Laplace-Glättung ist, was der Hauptgrund dafür ist, warum GCNs funktionieren, aber auch potenzielle Überglättungsprobleme bei vielen Faltungsschichten mit sich bringt. Zweitens, um die Grenzen des GCN-Modells mit flachen Architekturen zu überwinden, schlagen wir sowohl Co-Training- als auch Self-Training-Ansätze vor, um GCNs zu trainieren. Unsere Ansätze verbessern das Lernen von GCNs bei sehr wenigen Etiketten erheblich und befreien sie von der Notwendigkeit zusätzlicher Etiketten für die Validierung. Umfangreiche Experimente an Benchmarks haben unsere Theorien und Vorschläge bestätigt.