HyperAIHyperAI

Command Palette

Search for a command to run...

RAG検索、コサイン類似度を基盤とすな

エンタープライズ文書インテリジェンス関連シリーズにおいて、RAGの検索拡張機能に関する根本的なアーキテクチャ見直しが提唱されている。従来のチャンク化・埋め込み・コサイン類似度による上位k件返却という主流パイプラインは、エンタープライズ文書の構造的特性を見落とし、不透明なスコアリングに依存すると批判されている。これに対し、提案されている新アプローチは検索を自由テキスト処理ではなく構造化テーブルのフィルタリングと再定義し、キーワード検索、目次推論、埋め込みの三つの信号を並列で実装する。 本枠組みは六つの実証的教訓に基づいている。第一に、retrievalは検索ではなく論理フィルタリングであり、監査可能な明確な条件処理を優先する。第二に、該当行を指すアンカーと生成に要するコンテキストを分離し、精度と文脈情報の両立を図る。第三に、埋め込みの呼び出しを最終段階に留め、辞書の不一致が発生した場合のみ選択的に実行する。第四に、キーワード検索は該当不在を確実証明できる一方、埋め込みの低類似度は語彙差を反映する可能性があるため、埋め込みを補完信号とする。第五に、狭義コーパスでは統計的IDFより共起分析と正規表現アンカーが正確に機能する。第六に、目次全体を小規模モデルに一度処理させることで、パラフレーズを効率的に検出する。 医療、保険、法務など各分野での実証により、標準用語はミリ秒単位のキーワード処理で解決され、語彙乖離が生じるケースでのみ高コストな埋め込みが呼ばれることが確認された。これにより推論コストを大幅に削減しつつ、回答根拠の透明性と再現性を確保できる。実装コードは公式リポジトリで公開されており、エンタープライズ環境におけるコサイン類似度依存から脱却した堅牢な検索基盤の構築指針を示している。

関連リンク