Bespoke-Stratos-17k est un ensemble de données de haute qualité conçu pour les tâches de raisonnement, développé par l'équipe Bespoke Labs en 2025. Le blog concerné est «Bespoke-Stratos : L'efficacité déraisonnable de la distillation du raisonnementCet ensemble de données est généré par l'amélioration du pipeline de données Sky-T1 de Berkeley et l'utilisation des données extraites de DeepSeek-R1. Il est conçu pour soutenir l'entraînement de modèles d'inférence hautes performances. Il contient des questions, des traces de raisonnement et des réponses, couvrant divers domaines tels que le code, les mathématiques et les énigmes scientifiques. Grâce à l'outil Bespoke Curator, un ensemble de données d'inférence de haute qualité peut être généré en seulement une heure et demie, pour un coût d'environ 800 $. Cet ensemble de données utilise DeepSeek-R1 comme modèle d'inférence enseignant, ce qui simplifie le processus de génération de données sans nécessiter d'étapes de formatage supplémentaires. De plus, le filtrage des solutions mathématiques incorrectes via gpt-4o-mini a considérablement amélioré le taux de rétention des solutions mathématiques correctes, passant de 25% à 73%.

L'ensemble de données se compose de 3 parties : données de programmation (5 000 données provenant d'APPS et de TACO), données mathématiques (10 000 données provenant des sous-ensembles AIME, MATH et Olympiades de l'ensemble de données NuminaMATH) et données scientifiques et de puzzles (1 000 données provenant de STILL-2). Ces données ont été utilisées pour former deux modèles d'inférence, Bespoke-Stratos-32B et Bespoke-Stratos-7B, qui ont obtenu de bons résultats dans les tests de raisonnement mathématique et de code, surpassant les modèles précédents.