ChatQA : Dépasser GPT-4 en matière de questions-réponses conversationnelles et de récupération-assistance-génération (RAG)

Dans cette étude, nous présentons ChatQA, une suite de modèles qui surpassent GPT-4 en génération augmentée par la recherche (RAG) et en réponse conversationnelle aux questions (QA). Pour améliorer la génération, nous proposons une méthode de réglage d'instructions en deux étapes qui augmente considérablement les performances de RAG. En ce qui concerne la recherche efficace, nous introduisons un récupérateur dense optimisé pour la QA conversationnelle, offrant des résultats comparables à ceux des modèles alternatifs de réécriture de requêtes de pointe tout en réduisant considérablement les coûts de déploiement. Nous présentons également le ChatRAG Bench, qui comprend dix jeux de données couvrant des évaluations exhaustives sur RAG, les questions liées aux tables, les calculs arithmétiques et les scénarios impliquant des questions non répondables. Notre modèle ChatQA-1.0-70B (note : 54,14), basé sur Llama2, un modèle fondamental moins performant que GPT-4, peut légèrement surpasser GPT-4-0613 (note : 53,90) et GPT-4-Turbo-2024-04-09 (note : 54,03) sur le ChatRAG Bench sans utiliser aucune donnée synthétique provenant des modèles GPT d'OpenAI. Notamment, le modèle Llama3-ChatQA-1.5-70B dépasse la précision de GPT-4-Turbo-2024-04-09 avec une amélioration de 4,4 %. Pour faire progresser la recherche dans ce domaine, nous avons rendu open source les poids du modèle, les données de réglage d'instructions, le ChatRAG Bench et le récupérateur pour la communauté : https://chatqa-project.github.io/.