Ajustement fin des grands modèles de langage pour le matching d'entités

Les modèles de langage génératifs à grande échelle (LLMs) constituent une alternative prometteuse aux modèles de langage pré-entraînés pour le jumelage d'entités en raison de leurs performances élevées en zero-shot et de leur capacité à généraliser à des entités inconnues. Les recherches existantes sur l'utilisation des LLMs pour le jumelage d'entités se sont concentrées sur l'ingénierie des prompts et l'apprentissage contextuel. Cet article explore le potentiel du réglage fin (fine-tuning) des LLMs pour le jumelage d'entités. Nous analysons le réglage fin selon deux dimensions : 1) la représentation des exemples d'entraînement, où nous expérimentons l'ajout de différents types d'explications générées par les LLMs au jeu d'entraînement, et 2) la sélection et la génération d'exemples d'entraînement à l'aide des LLMs. Outre les performances de jumelage sur le jeu de données source, nous examinons comment le réglage fin affecte la capacité des modèles à généraliser à d'autres jeux de données dans le même domaine ainsi qu'à travers différents domaines thématiques. Nos expériences montrent que le réglage fin améliore considérablement les performances des modèles plus petits, tandis que les résultats pour les modèles plus grands sont mitigés. Le réglage fin améliore également la généralisation aux jeux de données dans le même domaine tout en nuisant au transfert inter-domaines. Nous démontrons que l'ajout d'explications structurées au jeu d'entraînement a un impact positif sur les performances de trois sur quatre LLMs, tandis que les méthodes proposées pour la sélection et la génération d'exemples n'améliorent les performances que du modèle Llama 3.1 8B tout en diminuant celles du modèle GPT-4o-mini.