Interaction de triplet améliore les transformateurs de graphe : Apprentissage précis de graphes moléculaires avec des transformateurs de graphe de triplet

Les transformateurs de graphes manquent généralement d'interactions d'ordre trois, ce qui limite leur compréhension géométrique, essentielle pour des tâches telles que la prédiction de la géométrie moléculaire. Nous proposons le Triplet Graph Transformer (TGT), qui permet une communication directe entre les paires au sein d'un triplet de nœuds grâce à des mécanismes novateurs d'attention et d'agrégation de triplets. Le TGT est appliqué à la prédiction des propriétés moléculaires en prédisant tout d'abord les distances interatomiques à partir de graphes 2D, puis en utilisant ces distances pour les tâches ultérieures. Une nouvelle procédure d'entraînement en trois étapes et une inférence stochastique améliorent encore l'efficacité de l'entraînement et les performances du modèle. Notre modèle obtient de nouveaux résultats state-of-the-art (SOTA) sur les benchmarks ouverts PCQM4Mv2 et OC20 IS2RE. Nous obtenons également des résultats SOTA sur les benchmarks de prédiction des propriétés moléculaires QM9, MOLPCBA et LIT-PCBA via le transfert d'apprentissage. Enfin, nous démontrons la généralité du TGT avec des résultats SOTA sur le problème du voyageur de commerce (TSP).