RAG問題解決する新システム開発
大規模言語モデルを活用した検索拡張生成(RAG)システムは、コンテキストウィンドウの拡大による精度向上が期待されるものの、実際のデータ集計や数値計算においては重大な欠陥を抱えている。EmiTechLogicの開発者が公開した技術検証およびオープンソースプロジェクト「context-window-engine」は、この問題の根本原因と解決策を明確に示した。 同プロジェクトの核心は、RAGが構造化データを単なるテキストとして扱い、不完全なデータスライス上でモデルに計算を依頼すると、誤りだが説得力のある回答を生成する「エラー検出可能性の崩壊」が発生することを証明した点にある。実験により、コンテキストを増やしても回答の詳細さは向上するが正確性は変わらず、かえって誤りを見抜くことが困難になる非対称な失敗モードが確認された。 本課題への解決策として提唱されたのは、クエリ意図を判定する「クエリルーター」と、全データスキャンに基づく確定的な計算を実行する「セマンティックエンジン」を組み合わせる二段階アーキテクチャである。集計や比較演算を含むクエリは計算パスへ、単純な検索クエリは従来のRAGパスへ自動振り分けられる。ベンチマークでは、10万件のデータセットに対して集計クエリが200ミリ秒以内で正確な回答を返し、検索クエリは130ミリ秒で処理される。テストスイート159件全てがパスし、外部依存のない実装で再現性を担保している。 本検証はRAG自体の破綻を意味するものではなく、適用領域の明確な分離を促す。計算機が苦手とする推論ではなく、確定的な演算にAIシステムを設計し直すアーキテクチャシフトとなりつつある。関連コードと技術仕様はGitHubで公開されている。
