NVIDIA AIレッドチームが警告：LLMアプリの3大セキュリティリスクと対策

NVIDIAのAIレッドチーム（AIRT）が、大規模言語モデル（LLM）を活用するアプリケーションにおける主要なセキュリティリスクと対策を公開した。同チームは、多数のAIシステムを評価し、開発段階で対処すれば重大な脆弱性を防げる共通の問題を特定した。 まず、LLMが出力したコードをexecやevalなどで実行すると、リモートコード実行（RCE）のリスクが生じる。攻撃者はプロンプトインジェクションで悪意のあるコードを生成し、適切なサンドボックスがなければシステム全体へのアクセスを奪う可能性がある。対策として、execやevalの使用を原則禁止し、出力内容を解析して安全な関数にマッピングする設計にすべき。必要であれば、WebAssemblyを活用した隔離されたサンドボックス環境で実行する。 次に、検索拡張生成（RAG）アーキテクチャにおけるアクセス制御の不備が深刻な問題である。ユーザーごとのデータ閲覧権限が正しく反映されていないケースが多く、機密情報が誤って共有される。原因は、元データソース（ConfluenceやGoogle Workspace）の権限設定ミス、RAGデータストアでの過剰な読み取り権限、権限の遅延反映など。また、RAGデータストアへの書き込み権限が広範であると、攻撃者が悪意ある文書を注入し、間接的なプロンプトインジェクションを可能にする。対策として、メールやドキュメントのアクセス範囲を明確に制限（例：自身のメールのみ、組織内のみ）、外部共有文書の除外、重要データは厳格に制御されたデータソースとして管理する。 さらに、LLM出力にMarkdownやハイパーリンクを含むと、データ漏洩のリスクがある。攻撃者は画像やリンクにユーザーの会話履歴をエンコードし、ブラウザが自動的に外部サーバーにアクセスする際、その情報が送信される。これを防ぐには、画像の読み込みを許可するドメインを制限し、リンクは表示前に全URLを提示する、または非活性化する。また、LLM出力をHTMLやURL、マークダウンから除去するセキュリティフィルタを導入する。 NVIDIA AIRTは、LLMアプリのセキュリティを強化するため、コード実行の禁止、RAGのアクセス制御の厳格化、出力の活性コンテンツ除去を強く推奨している。これらの対策を早期に実施することで、最も一般的で深刻な脆弱性を回避できる。