新技術「RisingAttacK」、AIビジョンシステムを操作可能に

RisingAttacK: 新しいテクニックでAIに何でも「見せる」ことが可能に 北カロライナ州立大学の研究チームが、AIのコンピュータビジョンシステムに対する新たな攻撃手法を発表した。この手法はRisingAttacKと呼ばれ、画像データのわずかな変更によってAIが特定の物体を見たり見なかったりすることで、システムを制御することができる。この攻撃手法は、最も広く使用されている4つのビジョンAIプログラム（ResNet-50、DenseNet-121、ViTB、DEiT-B）すべてで有効であった。 攻撃の背景と目的 AIのビジョンシステムに対する「敵対的攻撃」は、攻撃者が入力データを操作してAIの認識結果を歪める技術だ。たとえば、交通信号や歩行者、他の車両を正しく認識できないように自動運転車に攻撃したり、X線装置のAIシステムに誤診断させたりすることが可能である。このような攻撃は、自動運転、医療技術、セキュリティなど、人間の健康と安全に影響を与える多くの分野で使われるAIシステムの潜在的な脅威となっている。 天甫吴（Tianfu Wu）教授は、「これらのAIビジョンシステムは人間の健康や安全に直結する分野で利用されるため、セキュリティが非常に重要です」と述べている。彼らは、攻撃手法を公開することによってシステムの脆弱性を特定し、防衛策を講じることを目指した。 RisingAttacKの手法 RisingAttacKは、以下のような手順で攻撃を行う： 1. 画像特徴の特定: 統計的手法で画像内の大切な視覚的特徴を識別する。 2. 攻撃目標の選択: 目標に合わせて最も影響力のある特徴を選び出す。例えば、AIが車を認識しないためにはどの特徴が重要かを評価する。 3. データの感度分析: AIがデータの変更にどれだけ敏感であるかを計算し、特に重要な特徴に対してどれだけ敏感であるかを特定する。 4. 最小限の変更: 高度なアルゴリズムにより、人間の目にはほとんど变化が見えないほど小さな、具体的な特徴への変更を行って攻撃を成功させる。 これらのプロセスを通じて、2枚の画像が人間の目には同じに見える場合でも、RisingAttacKを使用することでAIが一方の画像からは車を認識し、もう一方からは認識しないようにすることが可能になる。 「RisingAttacKは、AIが識別できる上位20〜30の目標すべてを影響を与えることができます。具体的には車、歩行者、自転車、ストップサインなど多種多様な物体が対象となります」と天甫教授は説明している。 将来的な研究計画 研究チームは、RisingAttacKが大型言語モデルなど他のAIシステムにも有効かどうかを検討中であり、防御手法の開発を目指している。「最終的には、このような攻撃に対して防御できる技術を開発することが目標です」と天甫教授は述べている。 業界の反応 専門家たちは、RisingAttacKがAIのセキュリティ問題を顕在化させたことにより、今後の研究や開発に大きな影響を与えいると期待している。北カロライナ州立大学は、電気電子工学における世界クラスの教育機関として知られ、AIセキュリティ分野での先駆的な研究を続けることを約束している。 7月15日にバンクーバーで開催される「国際機械学習会議（ICML 2025）」で、論文「Adversarial Perturbations Are Formed by Iteratively Learning Linear Combinations of the Right Singular Vectors of the Adversarial Jacobian」が発表予定である。