Segmented Graph-Bert für die Graph-Instanzmodellierung

Bei der Darstellungslernung von Graph-Instanzen stellen sowohl die unterschiedlichen Größen der Graph-Instanzen als auch die knotenunabhängige Ordnungseigenschaft von Graphen bedeutende Hindernisse dar, die bestehende Darstellungslernmodelle in ihrer Funktionsfähigkeit einschränken. In diesem Paper untersuchen wir die Wirksamkeit von GRAPH-BERT für die Darstellungslernung von Graph-Instanzen, das ursprünglich für Aufgaben der Knotendarstellungslernung konzipiert wurde. Um GRAPH-BERT an die neuen Problemstellungen anzupassen, überarbeiten wir es neu mit einer segmentierten Architektur, die in diesem Paper als SEG-BERT (Segmented GRAPH-BERT) bezeichnet wird, um die Referenzvereinfachung zu gewährleisten. SEG-BERT beinhaltet nun keine knotenordnungsabhängigen Eingaben oder funktionellen Komponenten mehr und kann die knotenunabhängige Ordnungseigenschaft von Graphen natürlicherweise verarbeiten. Darüber hinaus verfügt SEG-BERT über eine segmentierte Architektur und führt drei unterschiedliche Strategien zur Vereinheitlichung der Graph-Instanzgrößen ein: volle Eingabe, Auffüllen/Ausdünnen sowie Segmentverschiebung. SEG-BERT ist unsupervisiert vortrainierbar und kann anschließend direkt auf neue Aufgaben übertragen werden, gegebenenfalls mit notwendiger Feinabstimmung. Wir haben die Wirksamkeit von SEG-BERT anhand von Experimenten auf sieben Benchmark-Datensätzen für Graph-Instanzen getestet, wobei SEG-BERT in sechs Fällen die vergleichbaren Methoden mit signifikanten Leistungsüberlegenheiten schlägt.