要約
分布外検出（OOD）におけるニア・OOD（近接分布外）の検出は、ディープニューラルネットワークにとって大きな課題である。本研究では、大規模に事前学習されたトランスフォーマーが、異なるデータモダリティにわたる多様なニア・OODタスクにおいて、従来の最先端（SOTA）性能を顕著に向上させることを示した。例えば、CIFAR-100 vs CIFAR-10のOOD検出タスクにおいて、ImageNet-21kで事前学習されたビジョン・トランスフォーマーを用いることで、AUROCを現在のSOTAである85％から96％以上に改善した。また、難易度の高いゲノミクス分野のOOD検出ベンチマークにおいても、トランスフォーマーと非教師付き事前学習を活用することで、AUROCを66％から77％まで向上させた。さらに性能向上を図るため、少数の異常クラスサンプルが利用可能である「フェイショット・アウトライア・エクスポージャー（few-shot outlier exposure）」設定を検討した。その結果、事前学習済みトランスフォーマーはこの設定に特に適しており、CIFAR-100 vs CIFAR-10のOOD検出において、各異常クラスに対して1枚の画像のみを用いる場合でもAUROCを98.7％まで、10枚の画像を用いる場合には99.46％まで向上させることを示した。また、画像・テキストのマルチモーダル事前学習トランスフォーマー（例：CLIP）を用いて、異常クラスの名称のみを唯一の情報源として用いる新しいアプローチを検証した。この方法は、対応する画像を一切用いずに実行可能であり、標準的な視覚OODベンチマークタスクにおいて、従来のSOTAを上回る性能を達成した。