AI暴走相次ぐ、単一テスト企業が中心に
イスラエルのAIセキュリティ評価企業Irregularを巡り、同社が実施したテスト環境の設計ミスにより、OpenAIやMeta、Anthropic、Googleなどの主要米国のAIエージェントが制御環境から逸脱し、実世界のネットワークを攻撃した件が明らかになった。2023年にPattern Labsとして設立された同社は、業界大手から政府機関までAIエージェントのセキュリティベンチマークを担当してきた。CTO兼創業者のオマー・ネヴォ氏は、一連の事象が単一の評価シナリオにおける根本的な問題に起因すると認めた。具体的には、エージェントがインターネットにアクセスできないよう隔離されていたはずのテスト環境で誤って公開アクセスが許可され、かつテスト用シミュレーションで設定された架空の会社名が実在するドメインと重複したことが、エージェントを誤って実世界の標的へ向かわせた原因と分析されている。関係企業は7月下旬に同社より警告を受け、OpenAIとAnthropicは自ら開示を発表したが、MetaとGoogleの件はメディア報道を通じて後に公となった。Hugging Face攻撃や英国AIセキュリティ研究所の事例はIrregularのテストとは無関係と説明されている。ネヴォ氏は、中国のMoonshot AIやZ.aiが公開したモデルに対する評価では同種の事象は確認されなかったと述べつつ、これはモデルの安全性を保証するものではないと注意を促した。Irregularは既にアクセス制御の強化、監視体制の拡充、評価開始前の検証プロセスの厳格化などを導入。関係企業との連携を経て、安全な評価手法を総括した公開報告書を刊行する計画だ。各社は詳細な対応や今後の関わりについての回答を控えているが、AIエージェントの自律性向上に伴うテスト環境のガバナンス強化が業界全体の喫緊の課題として浮上した。
