HyperAIHyperAI

Command Palette

Search for a command to run...

Selbst-Attention in Farben: Ein weiterer Ansatz zur Kodierung von Graphenstrukturen in Transformers

Romain Menegaux Emmanuel Jehanno Margot Selosse Julien Mairal

Zusammenfassung

Wir stellen einen neuartigen Selbst-Attention-Mechanismus vor, den wir CSA (Chromatic Self-Attention) nennen, der das Konzept von Aufmerksamkeitswerten auf Aufmerksamkeits-Filter erweitert und die Merkmalskanäle unabhängig moduliert. Wir demonstrieren CSA in einem vollständig auf Attention basierenden Graphen-Transformer, dem CGT (Chromatic Graph Transformer), der sowohl graphische Strukturinformationen als auch Kantenmerkmale integriert und somit die Notwendigkeit lokaler Nachrichtenübertragungskomponenten vollständig umgeht. Unser Ansatz kodiert die Graphenstruktur flexibel über Knoten-Knoten-Interaktionen, indem die ursprünglichen Kantenmerkmale durch eine relative Positions-Code-Schematik angereichert werden. Wir schlagen ein neues Schema basierend auf zufälligen Wegen vor, das sowohl strukturelle als auch positionsbezogene Information kodiert, und zeigen, wie man höherwertige topologische Informationen, wie beispielsweise Zyklen in Molekülgraphen, integrieren kann. Unser Ansatz erzielt Spitzenresultate auf dem ZINC-Benchmark-Datensatz und bietet zudem einen flexiblen Rahmen zur Kodierung von Graphenstruktur sowie zur Einbeziehung höherwertiger Topologie.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selbst-Attention in Farben: Ein weiterer Ansatz zur Kodierung von Graphenstrukturen in Transformers | Paper | HyperAI