Nous visons à produire un modèle de langage plus petit qui soit aligné sur l'intention de l'utilisateur. Des recherches antérieures ont montré que l'application d'un ajustement supervisé distillé (dSFT) sur des modèles plus grands améliore considérablement la précision des tâches ; cependant, ces modèles sont non alignés, c'est-à-dire qu'ils ne répondent pas bien aux invites naturelles. Pour distiller cette propriété, nous expérimentons l'utilisation de données de préférence provenant du Feedback d'IA (AIF). Partant d'un ensemble de données composé de sorties classées par un modèle enseignant, nous appliquons une optimisation directe des préférences distillée (dDPO) pour apprendre un modèle de chat avec une amélioration significative de l'alignement intentionnel. Cette approche nécessite seulement quelques heures d'entraînement sans aucun échantillonnage supplémentaire pendant l'ajustement fin. Le résultat final, Zephyr-7B, établit le niveau de référence dans les benchmarks de chat pour les modèles à 7 milliards de paramètres et ne requiert aucune annotation humaine. En particulier, les résultats sur MT-Bench montrent que Zephyr-7B dépasse Llama2-Chat-70B, le meilleur modèle basé sur RLHF accessible en open-access. Le code, les modèles, les données et les tutoriels du système sont disponibles à l'adresse suivante : https://github.com/huggingface/alignment-handbook.