HyperAIHyperAI

Command Palette

Search for a command to run...

Fable 5 vs GPT-5.6 Sol : le mode /goal, résultats mitigés

Une expérimentation récente a confronté les modèles Claude Fable 5 et GPT-5.6 Sol sur un problème d'optimisation mathématique complexe nommé KIRO, relatif à la conception de réseaux de fibres optiques. L'objectif était de déterminer si le mode /goal, une fonctionnalité permettant de définir un objectif persistant pour l'agent, améliore systématiquement les performances sur des tâches exigeantes. Les résultats confirment une supériorité nette de Fable 5, qui a généré la meilleure solution avec une stabilité remarquable. GPT-5.6 Sol a montré des performances plus fluctuantes. Le mode /goal ne fonctionne pas comme un levier d'optimisation universel. Bien qu'il ait remporté quatre essais sur six, il a paradoxalement dégradé la moyenne des résultats pour les deux modèles. Cette divergence s'explique par le fait que la persistance d'un but modifie le parcours de recherche. Elle favorise la réussite quand une bonne stratégie est identifiée, mais pénalise significativement les performances lorsqu'elle prolonge l'exécution d'une approche inefficace ou erronée. Les architectures sous-jacentes diffèrent également. L'implémentation de Claude utilise un modèle évaluateur séparé qui analyse uniquement le transcript pour valider l'atteinte de l'objectif. Codex, en revanche, persiste l'état du thread et fournit des outils de gestion directe des fichiers, ce qui change la manière dont le modèle audite sa propre progression. Ces différences techniques influencent directement la capacité de chaque agent à ajuster sa démarche en cours de route. Pour les problèmes d'optimisation NP-difficiles, donner plus d'itérations à une décision initialement faible est contre-productif. L'étude démontre que la robustesse du chemin de recherche prime sur la simple allocation de temps supplémentaire. Toutes les méthodologies, les données brutes et les scripts de reproduction sont publiés sur la plateforme CLIArena. Cette analyse souligne que les fonctionnalités de persistance doivent être utilisées avec discernement, leur impact dépendant étroitement de la qualité du raisonnement sous-jacent et de la nature du problème traité.

Liens associés