PDFから画像までを活用したRAG実装：PyMuPDFとChromaDBで構築するドキュメント要約・QAシステム

OpenAIの共同創業者アンドレイ・カーパティ氏が、AIの過度な信頼を警鐘を鳴らしている。彼はAIが人間にはありえない誤りを犯すと指摘し、「AIをリードで歩ませる」必要があると強調した。特に大規模言語モデル（LLM）は、事実を誤認したり、記憶を失ったりする「精神的な存在」にたとえられ、コード生成などに安易に依存するのは危険だと警告している。たとえば、9.11が9.9より大きいと誤認したり、strawberryに2つのRがあると誤解するなど、人間にはあり得ないミスを繰り返す。カーパティ氏は、開発者がAIに任せきらず、段階的に具体的なプロンプトを設計し、結果の検証を徹底することが重要だと訴えている。 この懸念は、実際のAI開発現場でも共有されている。SEAD-Agentというシステムでは、PyMuPDFとChromaDBを用いて、PDFドキュメントの要約と質疑応答（Q&A）のパイプラインをフレームワークなしで構築している。ドキュメント処理段階では、PDFからテキストと画像を抽出し、テキストは512文字以内に分割（chunking）、画像はVLM（Pixtral 12B）でキャプション生成。各チャンクには固有のIDが付与され、ChromaDBに埋め込み表現とともに保存される。 要約プロセスでは、各チャンクを個別に要約し、その後、簡潔または詳細な最終要約を生成。ユーザーの質問に対しては、ChromaDBのベクトル検索で関連するチャンクを取得し、その内容に基づいて回答を生成する。ログ出力では、大規模な都市計画に関する研究論文を処理し、EcoSphereという炭素排出とコスト最適化のための意思決定支援ツールの開発が、データ収集からシミュレーションまで網羅的に要約されていることが確認できる。 この実装は、AIが「自動化」するだけでなく、人間の監視と設計が不可欠であることを実証しており、カーパティ氏の「AIをリードで歩ませる」という主張と一致している。AIは強力なツールだが、その限界を理解し、慎重に活用することが、実用的なAI活用の鍵となる。