La Technologie WISE Pour Lutter Contre Les Hallucinations

La technologie WISE (Wisdom for Hallucination Mitigation) a été proposée par l'Université du Zhejiang en 2024. Elle vise à lutter contre les phénomènes d'hallucination dans les grands modèles de langage et à améliorer les capacités d'édition de la mémoire des connaissances du modèle. Les résultats pertinents de l'article sontWISE : Repenser la mémoire des connaissances pour l'édition continue de modèles de langage volumineux" et a été accepté par la NeurIPS (Conférence 2024 sur les systèmes de traitement de l'information neuronale).

Le cœur de cette technologie réside dans son mécanisme de mémoire à double paramètre, qui imite la division du travail entre les hémisphères gauche et droit du cerveau humain dans différentes tâches. WISE stocke les connaissances pré-entraînées via la mémoire principale et introduit une mémoire secondaire pour stocker spécifiquement les connaissances modifiées. Cette mémoire secondaire peut être considérée comme une mémoire à moyen terme qui combine la capacité de généralisation de la mémoire à long terme et la fiabilité et la localité de la mémoire de travail basée sur la récupération.

Pour une édition continue, l'équipe de recherche a conçu un mécanisme de partitionnement des connaissances, où différents groupes d'éditions sont stockés dans différents sous-espaces des paramètres et peuvent ensuite être fusionnés dans une mémoire partagée sans conflit. Des expériences approfondies démontrent que WISE est capable de surpasser les méthodes d'édition de modèles précédentes et de surmonter la trinité impossible en matière de réponse aux questions, de déshallucination et d'édition de modèles tout au long de la vie pour gérer les cas hors distribution sur des architectures de modèles de langage populaires de grande taille telles que GPT, LLaMA et Mistral.