Comprendre les besoins des LLM : Alignement de préférence dual pour la génération augmentée par la recherche

La génération augmentée par la recherche (RAG) a démontré son efficacité pour atténuer le problème d'hallucination des grands modèles de langage (LLMs). Cependant, la difficulté d'aligner le moteur de recherche avec les préférences de connaissance diverses des LLMs pose inévitablement un défi majeur dans le développement d'un système RAG fiable. Pour répondre à ce problème, nous proposons DPA-RAG, un cadre universel conçu pour aligner les préférences de connaissance diverses au sein des systèmes RAG.Plus précisément, nous introduisons initialement une pipeline de construction de connaissances préférentielles et intégrons cinq nouvelles stratégies d'augmentation de requêtes afin d'atténuer la rareté des données préférentielles. Sur la base de ces données préférentielles, DPA-RAG réalise l'alignement préférentiel externe et interne : 1) Il intègre conjointement les capacités d'alignement préférentiel par paires, ponctuel et contrastif dans le réordonnateur, permettant ainsi l'alignement externe des préférences entre les composants RAG. 2) Il introduit également une étape pré-alignée avant le réglage supervisé standard (SFT), permettant aux LLMs de capturer implicitement des connaissances alignées avec leurs préférences de raisonnement, réalisant ainsi l'alignement interne des LLMs.Les résultats expérimentaux sur quatre ensembles de données QA intensifs en connaissances montrent que DPA-RAG surpasse toutes les méthodes de référence et s'intègre parfaitement tant aux lecteurs LLM noirs qu'aux lecteurs LLM open source. Une analyse qualitative supplémentaire et des discussions fournissent également des orientations empiriques pour atteindre des systèmes RAG fiables. Notre code est disponible publiquement sur https://github.com/dongguanting/DPA-RAG.