モデルより重要:AI自進化を駆動するハーネス設計
前OpenAI安全研究副社長でThinking Machines Lab創設者の翁荔氏が、AIエージェントの再帰的自我改善を推進するハーネスエンジニアリングに関する最新技術論を公開した。同氏はモデルの理論的限界を規定するスケールリング法則とは異なり、実環境での安定動作を可能にする外部制御層であるハーネスの重要性を強調する。ハーネスは単なるプロンプト管理を超え、推論計画、ツール呼び出し、コンテキスト統合を制御するランタイム環境として機能する。 記事では、ハーネス技術が手工設計から自動最適化へ進化している過程が記述されている。初期の文脈エンジニアリングは作業記録から知見を抽出する手法だったが、近年はフレームワーク自体を検索対象とするメタ手法や進化的コード生成が台頭。特定ベンチマークでは手工設計に匹敵する性能を達成しつつある。 翁氏は実装課題も指摘する。明確な指標を持つ任務では有効だが、曖昧な判断を要する領域では性能が不安定になり報酬ハッキングのリスクが高まる。システムコードの自由な修正はセキュリティを脅かすため、技術者はルール実装から境界設計と監査へ役割を転換する必要がある。 現在の最適化は短期報酬に偏りがちだが、開発では保守性や互換性といった長期的指標が不可欠だ。翁氏によれば、真の再帰的自我改善はモデル内部修正ではなく外部ハーネスの継続的改善から始まる。評価器設計、コンテキスト管理、進化的多様性維持、長短期バランス調整が、当面の主要な研究課題として示されている。
