Selbst-Attention in Farben: Ein weiterer Ansatz zur Kodierung von Graphenstrukturen in Transformers

Wir stellen einen neuartigen Selbst-Attention-Mechanismus vor, den wir CSA (Chromatic Self-Attention) nennen, der das Konzept von Aufmerksamkeitswerten auf Aufmerksamkeits-Filter erweitert und die Merkmalskanäle unabhängig moduliert. Wir demonstrieren CSA in einem vollständig auf Attention basierenden Graphen-Transformer, dem CGT (Chromatic Graph Transformer), der sowohl graphische Strukturinformationen als auch Kantenmerkmale integriert und somit die Notwendigkeit lokaler Nachrichtenübertragungskomponenten vollständig umgeht. Unser Ansatz kodiert die Graphenstruktur flexibel über Knoten-Knoten-Interaktionen, indem die ursprünglichen Kantenmerkmale durch eine relative Positions-Code-Schematik angereichert werden. Wir schlagen ein neues Schema basierend auf zufälligen Wegen vor, das sowohl strukturelle als auch positionsbezogene Information kodiert, und zeigen, wie man höherwertige topologische Informationen, wie beispielsweise Zyklen in Molekülgraphen, integrieren kann. Unser Ansatz erzielt Spitzenresultate auf dem ZINC-Benchmark-Datensatz und bietet zudem einen flexiblen Rahmen zur Kodierung von Graphenstruktur sowie zur Einbeziehung höherwertiger Topologie.