OpenAIは、AIブラウザ「ChatGPT Atlas」がプロンプトインジェクション攻撃のリスクに常にさらされていると認めた。同社は10月に発表したAtlasのセキュリティ強化策について、プロンプトインジェクション——Webページやメールに隠された悪意ある指示でAIエージェントを操作する攻撃——は「完全に解消されない」と明言。この攻撃は、スパムや社会的工学と同様に、根本的に「消え去ることはない」とし、AIエージェントの「エージェントモード」がセキュリティの脅威面を広げていると説明した。 Atlasの発表直後、セキュリティ研究者たちは、Google Docsにわずかなテキストを入力するだけでブラウザの挙動を改ざんできることを実証。同様に、BraveやPerplexityのAIブラウザも同様の脆弱性を抱えていると指摘された。U.K.国家サイバーセキュリティセンターも、生成AIアプリに対するプロンプトインジェクションは「完全に防げない」と警告。対策の焦点は「攻撃を完全に止める」ではなく、「リスクと影響を最小化する」ことにシフトしている。 OpenAIは、この持続的な脅威に対し、AI自体で攻撃者を模倣する「LLMベースの自動攻撃者」を導入。このAIは強化学習で訓練され、模擬環境で攻撃を繰り返し試行。攻撃の効果とAIエージェントの反応を観察し、新たな攻撃戦略を発見。従来の「赤チーム（人間による攻撃模擬）」では見つからなかった、複数ステップにわたる高度な悪意あるワークフローも発見した。 実例として、AIがメールに隠された指示に従い、出社中リマインダーの代わりに退職届を送信する攻撃を模倣。セキュリティアップデート後、Atlasはそのインジェクションを検知し、ユーザーに警告する機能を備えた。 同社は、プロンプトインジェクションの完全防止は現実的でないとして、大規模なシミュレーションテストと迅速なパッチ配信を継続的戦略として掲げる。また、ユーザーには「広い権限を与える」のではなく、明確な指示を与えること、送信や支払いの前には確認を求めるよう推奨。さらに、AIに「必要な行動を取れ」と任せるのではなく、制限された範囲で操作させることが重要と説明。 サイバーセキュリティ企業Wizのラミ・マッカーシー氏は、AIブラウザは「中程度の自律性＋高アクセス権」の危険な組み合わせと指摘。現時点では、そのリスクが価値を上回ると評価。「多くの日常用途では、リスクが高すぎる」とし、実用性と安全性のバランスがまだ成熟していないと述べた。