Ryan Teknium Roger Jin Jai Suphavadeeprasit Dakota Mahan Jeffrey Quesnelle Joe Li Chen Guang Shannon Sands Karan Malhotra

Résumé

Nous présentons Hermes 4, une famille de modèles hybrides à raisonnement combinant un raisonnement structuré et multitrajet avec une capacité étendue à suivre des instructions. Nous décrivons les défis rencontrés lors de la collecte de données, de leur synthèse, de l'entraînement et de l'évaluation, ainsi que les solutions mises en œuvre pour relever ces défis à grande échelle. Une évaluation approfondie est menée sur des benchmarks couvrant le raisonnement mathématique, la programmation, les connaissances, la compréhension et l’alignement, avec présentation à la fois des résultats quantitatifs et d’une analyse qualitative du comportement. Pour favoriser la recherche ouverte, tous les poids du modèle sont publiés publiquement à l’adresse suivante : https://huggingface.co/collections/NousResearch/hermes-4-collection-68a731bfd452e20816725728