HyperAIHyperAI

Command Palette

Search for a command to run...

Ajustement fin des grands modèles de langage pour le matching d'entités

Author Name

Résumé

Les modèles de langage génératifs à grande échelle (LLMs) constituent une alternative prometteuse aux modèles de langage pré-entraînés pour le jumelage d'entités en raison de leurs performances élevées en zero-shot et de leur capacité à généraliser à des entités inconnues. Les recherches existantes sur l'utilisation des LLMs pour le jumelage d'entités se sont concentrées sur l'ingénierie des prompts et l'apprentissage contextuel. Cet article explore le potentiel du réglage fin (fine-tuning) des LLMs pour le jumelage d'entités. Nous analysons le réglage fin selon deux dimensions : 1) la représentation des exemples d'entraînement, où nous expérimentons l'ajout de différents types d'explications générées par les LLMs au jeu d'entraînement, et 2) la sélection et la génération d'exemples d'entraînement à l'aide des LLMs. Outre les performances de jumelage sur le jeu de données source, nous examinons comment le réglage fin affecte la capacité des modèles à généraliser à d'autres jeux de données dans le même domaine ainsi qu'à travers différents domaines thématiques. Nos expériences montrent que le réglage fin améliore considérablement les performances des modèles plus petits, tandis que les résultats pour les modèles plus grands sont mitigés. Le réglage fin améliore également la généralisation aux jeux de données dans le même domaine tout en nuisant au transfert inter-domaines. Nous démontrons que l'ajout d'explications structurées au jeu d'entraînement a un impact positif sur les performances de trois sur quatre LLMs, tandis que les méthodes proposées pour la sélection et la génération d'exemples n'améliorent les performances que du modèle Llama 3.1 8B tout en diminuant celles du modèle GPT-4o-mini.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp