HyperAIHyperAI

Command Palette

Search for a command to run...

分布外検出の限界を探る

Stanislav Fort Jie Ren Balaji Lakshminarayanan

概要

分布外検出(OOD)におけるニア・OOD(近接分布外)の検出は、ディープニューラルネットワークにとって大きな課題である。本研究では、大規模に事前学習されたトランスフォーマーが、異なるデータモダリティにわたる多様なニア・OODタスクにおいて、従来の最先端(SOTA)性能を顕著に向上させることを示した。例えば、CIFAR-100 vs CIFAR-10のOOD検出タスクにおいて、ImageNet-21kで事前学習されたビジョン・トランスフォーマーを用いることで、AUROCを現在のSOTAである85%から96%以上に改善した。また、難易度の高いゲノミクス分野のOOD検出ベンチマークにおいても、トランスフォーマーと非教師付き事前学習を活用することで、AUROCを66%から77%まで向上させた。さらに性能向上を図るため、少数の異常クラスサンプルが利用可能である「フェイショット・アウトライア・エクスポージャー(few-shot outlier exposure)」設定を検討した。その結果、事前学習済みトランスフォーマーはこの設定に特に適しており、CIFAR-100 vs CIFAR-10のOOD検出において、各異常クラスに対して1枚の画像のみを用いる場合でもAUROCを98.7%まで、10枚の画像を用いる場合には99.46%まで向上させることを示した。また、画像・テキストのマルチモーダル事前学習トランスフォーマー(例:CLIP)を用いて、異常クラスの名称のみを唯一の情報源として用いる新しいアプローチを検証した。この方法は、対応する画像を一切用いずに実行可能であり、標準的な視覚OODベンチマークタスクにおいて、従来のSOTAを上回る性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
分布外検出の限界を探る | 記事 | HyperAI超神経