Synergistische Fusion von Graphen- und Transformer-Features zur verbesserten Vorhersage molekularer Eigenschaften

Die Vorhersage molekularer Eigenschaften ist eine zentrale Aufgabe im Bereich der computergestützten Arzneimittelentwicklung. Obwohl in jüngster Zeit Fortschritte bei Graph Neural Networks (GNNs) und Transformers zeigen, dass diese Ansätze wirksam und vielversprechend sind, weisen sie folgende Einschränkungen auf: Der Selbst-Attention-Mechanismus von Transformers berücksichtigt die zugrundeliegende Molekülstruktur nicht explizit, während die Merkmalsrepräsentation allein durch GNNs nicht ausreicht, um feinkörnige und verborgene Wechselwirkungen sowie charakteristische Merkmale zu erfassen, die ähnliche Moleküle unterscheiden. Um diese Limitationen zu überwinden, stellen wir SYN-FUSION vor, einen neuartigen Ansatz, der vortrainierte Merkmale aus GNNs und Transformers synergistisch kombiniert. Dieser Ansatz ermöglicht eine umfassende Darstellung von Molekülen, indem sowohl die globale Molekülstruktur als auch die individuellen Atomeigenschaften erfasst werden. Experimentelle Ergebnisse auf den MoleculeNet-Benchmarks zeigen eine überlegene Leistung: SYN-FUSION übertrifft die vorherigen Modelle in 5 von 7 Klassifikationsdatensätzen und in 4 von 6 Regressionsdatensätzen. Der Vergleich mit anderen Graph-Transformer-Modellen, die gemeinsam mit einer Kombination aus Transformer- und Graphmerkmalen trainiert wurden, zeigt, dass unser Ansatz hinsichtlich der Leistung mit diesen Modellen vergleichbar ist. Eine umfassende Analyse des gelernten Fusionsmodells hinsichtlich Verlustfunktion, latenter Raumstruktur und Gewichtsverteilung bestätigt zudem die Wirksamkeit von SYN-FUSION. Schließlich zeigt eine Ablationsstudie eindeutig, dass die durch SYN-FUSION erzielte Synergie die Leistung ihrer einzelnen Komponenten sowie deren Ensemble übertrifft und eine erhebliche Verbesserung bei der Vorhersage molekularer Eigenschaften ermöglicht.