CLASS : Amélioration des performances de recherche textuelle-molécule multimodale et de l'efficacité d'entraînement

La tâche de récupération croisée multimodale texte-molécule relie les structures moléculaires aux descriptions en langage naturel. Les méthodes existantes se concentrent principalement sur l’alignement entre les modalités texte et molécule, tout en ignorant l’ajustement adaptatif des états d’apprentissage aux différentes phases d’entraînement et la mise en œuvre d’une efficacité d’apprentissage améliorée. Pour relever ces défis, cette étude propose un cadre d’apprentissage croisé multimodal basé sur l’apprentissage progressif (CLASS), intégrable à tout modèle de base et capable d’obtenir une amélioration significative des performances. Plus précisément, nous quantifions la difficulté des échantillons en tenant compte à la fois de la modalité texte et de la modalité molécule, et concevons un planificateur d’échantillons qui introduit progressivement les données selon un paradigme du plus facile au plus difficile au fil de l’avancement de l’entraînement, réduisant ainsi notablement l’échelle des échantillons utilisés en phase initiale et améliorant l’efficacité d’entraînement. En outre, nous introduisons une stratégie d’apprentissage d’intensité adaptative, qui augmente progressivement l’intensité de l’apprentissage au fil du temps, permettant ainsi un contrôle adaptatif de l’intensité d’apprentissage à travers toutes les étapes du curriculum. Les résultats expérimentaux sur le jeu de données ChEBI-20 démontrent que la méthode proposée atteint des performances supérieures tout en réalisant des économies de temps significatives.