HyperAIHyperAI

Command Palette

Search for a command to run...

マスクの解放:分布外検出能力の本質を探索する

Jianing Zhu Hengzhuang Li Jiangchao Yao Tongliang Liu Jianliang Xu Bo Han

概要

分布外(Out-of-distribution, OOD)検出は、機械学習モデルを実世界の応用に導入する際のセキュアAIにおいて不可欠な要素である。従来のアプローチは、より優れたスコア関数の探索や、外れ値の知識を活用してモデルにOOD検出能力を付与することに注力してきた。しかし、与えられたモデル自体が持つ内在的なOOD検出能力に注目する研究はほとんど存在しない。本研究では、分布内(in-distribution, ID)データで学習されたモデルにおいて、最終段階よりも中間段階のほうがOOD検出性能が優れているという一般的な現象を、さまざまな設定において発見した。さらに、この現象の背後にある重要な要因として、「特異なサンプル(atypical samples)との学習」が同定された。この知見に基づき、本研究ではIDデータを用いて、すでに十分に学習されたモデルのOOD識別能力を回復することを目的とした新規手法「Unleashing Mask」を提案する。本手法は、メスカ(mask)を用いて記憶された特異なサンプルを特定し、そのメスカを導入することでモデルのファインチューニングまたは構造的プルーニングを行い、それらのサンプルを忘れさせる。広範な実験と分析により、本手法の有効性が実証された。コードは以下のURLで公開されている:https://github.com/tmlr-group/Unleashing-Mask


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています