Évaluation comparative de Llama2, Mistral, Gemma et GPT en termes de véracité, toxicité, biais et propension aux hallucinations

Ce document présente quatorze nouveaux ensembles de données destinés à évaluer la sécurité des grands modèles linguistiques dans le contexte des tâches d'entreprise. Une méthode a été élaborée pour mesurer la sécurité d'un modèle, définie par sa capacité à suivre les instructions et à produire un contenu factuel, non biaisé, ancré et approprié. Dans cette recherche, nous avons utilisé le modèle OpenAI GPT comme point de référence, car il excelle à tous les niveaux de sécurité. Du côté open source, pour les modèles plus petits, Meta Llama2 se distingue par sa fiabilité factuelle et son faible niveau de toxicité, mais il a la plus forte propension à l'hallucination. Mistral hallucine le moins mais ne gère pas bien la toxicité. Il performe bien dans un ensemble de données mêlant plusieurs tâches et vecteurs de sécurité dans un domaine vertical restreint. Gemma, le nouveau modèle open source basé sur Google Gemini, est généralement équilibré mais reste en retrait. Lorsqu'il s'agit d'engager une conversation interactive (prompts multi-tours), nous constatons que la sécurité des modèles open source se dégrade considérablement. À l'exception du GPT d'OpenAI, Mistral est le seul modèle qui a encore bien performé lors des tests multi-tours.