Triplet-Interaktion verbessert Graph-Transformers: Genauiges Molekülgraph-Lernen mit Triplet-Graph-Transformern

Graph-Transformers fehlen in der Regel dritte Ordnungsinteraktionen, was ihre geometrische Verständnisfähigkeit einschränkt, die für Aufgaben wie die Vorhersage molekularer Geometrien entscheidend ist. Wir schlagen den Triplet Graph Transformer (TGT) vor, der durch innovative Tripletten-Aufmerksamkeits- und Aggregationsmechanismen eine direkte Kommunikation zwischen Paaren innerhalb eines 3-Tupels von Knoten ermöglicht. Der TGT wird zur Vorhersage molekularer Eigenschaften angewendet, indem zunächst interatomare Abstände aus 2D-Graphen vorhergesagt werden und diese Abstände dann für nachgelagerte Aufgaben verwendet werden. Ein neues dreistufiges Trainingsverfahren und stochastische Inferenz verbessern zudem die Trainings-effizienz und das Modellverhalten. Unser Modell erzielt neue Stand-of-the-Art (SOTA)-Ergebnisse auf den offenen Benchmark-Challenges PCQM4Mv2 und OC20 IS2RE. Durch Transfer-Lernen erhalten wir ebenfalls SOTA-Ergebnisse auf den Benchmarks zur Vorhersage molekularer Eigenschaften QM9, MOLPCBA und LIT-PCBA. Zudem zeigen wir die Allgemeingültigkeit des TGT durch SOTA-Ergebnisse beim Traveling Salesman Problem (TSP).