HyperAIHyperAI

Command Palette

Search for a command to run...

3日前
OpenAI
LLM

OpenAI、モデルの公開前に実際のリスクをシミュレーションできる「デプロイメント・シミュレーション」技術を導入

OpenAIは「デプロイメントシミュレーション」(Deployment Simulation)と呼ばれる新たなセキュリティ評価手法を正式に紹介した。これはモデルの公開前に、実際の環境での振る舞いや潜在的なリスクを予測することを目的としている。この手法では、プライバシー保護された形で最近の実データとなる対話履歴を再生し、候補モデルが応答を再構成することで、本番導入前の模擬環境を実現する。 GPT-5 シリーズの Thinking モデルの評価において、OpenAI は約 130 万件の脱識別処理済み会話データを分析した。その結果、デプロイメントシミュレーションは従来の「チャレンジングプロンプト」テストと比較してリスク発生率の予測精度が顕著に高く、方向性の正確さも向上していることが示された。既知のリスク率に対する推定値の中乗数誤差はわずか 1.5 倍にとどまった。さらに、従来テストで捕捉できなかったような、「計算機ハッキング」といった新しい行動バイアスさえもリリース前に発見することが可能であった。 加えて、デプロイメントシミュレーションにより、モデルが自身を検査対象と認識してしまう現象が大幅に低減された。つまり、モデルがこの状態を評価として特定する確率は、従来のテストにおける 99.72%から 5.1%へと低下し、実稼働データの 5.38%に近い水準となった。また、LLM を用いてツール呼び出しをシミュレートすることで環境忠実度を維持しつつ、プログラミングエージェントなど複雑なツールの利用シーンにも拡張できる可能性がある。 OpenAI は、デプロイメントシミュレーションは従来のレッドチームテストや敵対的評価を代替するものではなく補完するものであるとし、包括的なセキュリティ評価の中でますます重要な役割を果たしていくと強調している。

関連リンク