技術評論家チャールズ・アザム氏は、未公開のNP困難最適化問題「KIRO」を用い、AnthropicのClaude Fable 5とOpenAIのGPT-5.6 Solの性能を比較するベンチマークを実施した。両モデルにネイティブの/ goalモードの有無でテストを行い、複雑な計算問題におけるエージェントの探索制御を検証した。 KIRO問題は配分ハブとターミナルを制約条件下で接続するネットワーク設計問題であり、検索空間は膨大だ。実験では各モデルに30分の最適化予算と最大推論設定を割り当てた。結果、Fable 5は総延長距離を最小化する性能でSolを大きく上回り、特に標準モードでのスコア変動が極めて小さく、圧倒的な一貫性を示した。 注目すべきは/ goalモードの効果である。この機能は単純な努力強化ではなくエージェントの制御ループと探索パスを変更する。テストでは/ goalモードが勝利した試行が多かったものの、両モデルの平均スコアはむしろ悪化した。これは/ goalモードが誤った探索判断を延長させ、時に大きなロスをもたらすためだ。中央値はわずかに改善したが、悪化ケースの影響で平均値が低下した。 実装面では、Claude CodeとCodexで/ goalの仕組みが根本的に異なる。Claude Codeはセッション内の評価モデルが会話履歴のみで終了を判断する独立型評価機制を採用する。一方Codexはスレッド状態を永続化し、モデル自身が完了宣言後にも制約を維持したまま処理を再開する設計だ。Claudeは外部ファイルへのアクセス制限があるが、Codexはツール連携と自己採点を可能にする。 本研究はNP困難問題におけるエージェントの振る舞いを明らかにし、/ goalのような永続化機能が個体では勝利しやすいが全体平均を低下させるリスクを指摘した。複雑な最適化タスクでは機能の有無より、探索ループの品質と軌道維持の安定性が成否を分ける。全検証コードとデータはCLIArenaで公開済みである。