Dans cet article, nous explorerons comment traiter six types de problèmes de « hallucinations » dans les modèles de langage basés sur les Transformers (LLMs) de petite taille, en utilisant spécifiquement un modèle de 1 milliard de paramètres de LLaMA pour la génération de texte. Ces hallucinations se manifestent par des erreurs factuelles, temporelles, contextuelles, linguistiques, intrinsèques et extrinsèques, et nous examinerons des techniques ciblées pour remédier à chacune d’elles. Chaque jeu de données nécessite une approche unique, mais le guide que nous allons suivre combine des concepts théoriques et des exemples de code pratiques afin de comprendre précisément comment résoudre chaque type d'issue. Vous pourrez ainsi adapter ces stratégies à votre propre ensemble de données. Notre Modèle LLaMA de 1 Milliard de Paramètres et Notre Modèle d'Embedding Nous utilisons le modèle de langage LLaMA (Large Language Model Meta AI) de taille 1B pour générer des textes. Ce modèle, bien qu'ayant une capacité moindre comparée à ses homologues plus volumineux, possède néanmoins un potentiel considérable pour des applications variées. Associé à un modèle d'embedding, il permet d'analyser et corriger les textes générés en fonction de plusieurs critères. Correction Factuelle Using RAG (Retrieval-Augmented Generation) Les hallucinations factuelles se produisent lorsque le modèle génère des faits incorrects ou inexacts. Pour y remédier, nous employons la méthode de RAG. Cette technique consiste à augmenter la génération de texte avec des informations récupérées à partir d'une base de données externe, garantissant ainsi la validité des faits. Le processus implique deux étapes : la récupération des documents pertinents et l’intégration de ces informations dans la génération de texte. Par exemple, si notre modèle affirme que la Tour Eiffel a été construite en 1859, nous pouvons utiliser RAG pour corriger automatiquement cette date en 1889, en s’appuyant sur des données historiques fiables. Correction Temporelle Using Time-Aware Prompting Les errors temporelles surviennent lorsque le modèle émet des déclarations anachroniques ou confond la chronologie des événements. La technique de Time-Aware Prompting consiste à intégrer des indications temporelles précises dans les prompts, afin que le modèle prenne en compte le contexte temporel lors de la génération de son texte. Par instance, si vous voulez générer un récit de l'année 2023, le prompt peut inclure "En 2023," pour éviter que le modèle ne mentionne des éléments appartenant à des périodes précédentes ou futures. Correction Contextuelle Using Lookback Lens Les problèmes contextuels apparaissent lorsque le modèle perd le fil de l'intrigue ou produit des contenus incohérents à mesure que le texte s’allonge. Le Lookback Lens est une technique qui renforce la coherence contextuelle en faisant appel régulièrement à des extraits antérieurs du texte. Lorsque le modèle génère une nouvelle partie, il compare le nouveau contenu aux parties précédentes pour détecter et corriger les incohérences. Cela aide à maintenir une narration consistante et à éviter les changements brusques ou les contradictions. Correction Linguistique Using Semantic Coherence Filtering Les hallucinations linguistiques se caractérisent par des phrases mal construites, des coquilles ou des non-sens syntaxiques. Pour améliorer la cohérence linguistique, nous utilisons le Semantic Coherence Filtering. Cette technique implique de filtrer les outputs générés par un modèle de vérification séparé qui évalue la qualité grammaticale et sémantique du texte. Les phrases ou paragraphes non conformes sont ensuite corrigés ou rejetés, permettant ainsi de produire un contenu fluide et naturel. Correction Intrinsèque Using Contradiction Checking Les problèmes intrinsèques surviennent lorsque le modèle génère des informations qui contredisent les connaissances de base ou les principes fondamentaux. Pour cela, nous mettons en place un système de Contradiction Checking. Ce processus utilise des règles logiques et des faits établis pour identifier et corriger les contradictions. Par exemple, si le modèle affirme que la gravité est une force répulsive, le système de contrôle détectionnera cette erreur et proposera une correction appropriée. Correction Extrinsèque Using Copy/Pointer Mechanism Les hallucinations extrinsèques se produisent lorsque le modèle ignore ou altère des informations spécifiques fournies dans le prompt. Le Copy/Pointer Mechanism est une solution efficace pour ce type de problème. Cette technique permet au modèle de pointer vers des fragments spécifiques du prompt et de les copier directement, assurant ainsi que les informations critiques soient respectées. Si le prompt contient un nom spécifique comme « Alice », le modèle aura plus de chances de le reproduire correctement plutôt que de générationner un autre nom. Conclusion En adoptant ces techniques adaptées, il est possible de significativement réduire les hallucinations dans les petits modèles de langage tels que notre LLaMA 1B. Chaque méthode offre une réponse précise à un type différent d'erreur, renforçant ainsi la fiabilité et la qualité du texte généré. Que vous travailliez sur des applications de chatbot, d’assistance juridique ou scientifique, ces stratégies peuvent être ajustées aux besoins spécifiques de votre jeu de données. En fin de compte, elles contribuent à créer des systèmes de génération de texte plus robustes et crédibles.