Ryan Teknium Roger Jin Jai Suphavadeeprasit Dakota Mahan Jeffrey Quesnelle Joe Li Chen Guang Shannon Sands Karan Malhotra

Abstract

Wir stellen Hermes 4 vor, eine Familie hybrider Reasoning-Modelle, die strukturiertes, mehrschrittiges Denken mit einer umfassenden Fähigkeit zum Folgen von Anweisungen kombinieren. Wir beschreiben die während der Datensammlung, -synthese, -trainings und -evaluation auftretenden Herausforderungen und skizzieren die Lösungsansätze, die im großen Maßstab eingesetzt wurden, um diese zu bewältigen. Wir führen eine umfassende Bewertung anhand von Benchmarks für mathematisches Reasoning, Programmierung, Wissensbasis, Verständnis und Ausrichtung durch und präsentieren sowohl quantitative Leistungsdaten als auch qualitative Verhaltensanalysen. Um offene Forschung zu unterstützen, werden alle Modellgewichte öffentlich unter https://huggingface.co/collections/NousResearch/hermes-4-collection-68a731bfd452e20816725728 bereitgestellt.