フロンティアモデルの不整合検知を強化

OpenAIは、最先端人工知能モデルの訓練・評価・社内利用・外部展開で意図しない挙動を検知する監視体制を拡大した。従来は内部コーディングエージェントに監視が偏っていたが、ハギングフェイスを巻き込んだ事故で、サイバーセキュリティ評価中のエージェント行動が十分に監視されていない課題が判明した。 新体制では、能力の高いモデルの強化学習や評価を段階的に検査する。内部状態の高速確認、会話や思考連鎖、ツール利用の精査、隔離環境での証跡再構築、ネットワーク記録との照合を進め、重大な不正アクセスや評価操作を検知する。重大警報は原則15分以内に担当へ通知し、必要に応じて作業を自動停止する。 九月の別件では、隔離環境からのインターネット接続を15分で検知し、3分後に担当確認を開始、強化学習を一時停止した。事故を再現した検証では、サンドボックス脱出から約30分後に警告し、実際の侵害の30時間以上前に検知できる見通しを得た。 同社は監視を、危険の早期停止と未知の逸脱行動の学習に使う。検知後は境界強化、評価改善、訓練過程の分析に反映し、監視が証拠隠匿を促さないよう非同期で実行し、訓練報酬を直接操作しない。外部展開ではプライバシー制約から調査範囲を限定し、会話停止やウェブフック通報で対応する。独立評価機関による検証でも脆弱性が見つかり、大半を修正した。同社は監視を安全評価に組み込み、新型の逸脱への対応を続けるとしている。