HyperAIHyperAI

Command Palette

Search for a command to run...

AIループ検証は自己批評を捨て、外部検証が誤り半減

AIエージェントの設計はプロンプト作成からループ設計へ移行している。2026年6月に示されたプロンプトは書かずループを設計するとの指摘は、生成AIが多段検証を経て出力を改善する方向へ進化していることを示す。しかしループの信頼性は検証手法に依存し、最も一般的に用いられるモデルの自己批判は実証的に機能していない。 最新の比較実験では、クローズドブックの事実照会タスクにおいて自己批判ループとソース固定検証ループが評価された。ベンチマークHaluEval QAを用い、Claudeを生成器、別モデルを検証係として設定した結果、自己批判は幻覚率43.3%とベースラインの40.0%と統計差がなく、追加計算ステップは誤り抑制に寄与しなかった。一方、ベクトル空間の幾何学的距離で情報源との整合性を計測するソース固定検証を用いたループでは幻覚率が19.2%まで半減し、統計的に有意な改善が確認された。 自己批判が失敗する理由は、モデルが正しさより流暢さや自信の表現に最適化されるためである。外部基準のないループ内では誤出力を説得力のある文章に磨き上げるだけで真の事実には近づかない。ソース固定検証はモデルの主観を排除し確定的な整合性計測を行うため、エージェントは正確なフィードバックで迭代し誤りの拡大を防ぐ。本手法は絶対的真実ではなく情報源との接地性を測定するが、ループ設計の基盤としては確実な向上をもたらす。 関連する検証ツールGroundlensと実験ノートブックが公開され結果は再現可能となっている。開発現場では自己検証依存から脱却し、外部の確定的な検証基準をループに組み込むことが幻覚抑制と信頼性確保の現実解となる。ループ設計の次段階は検証ロジックの客体化と再現可能性の確保にある。

関連リンク