ノイズのあるラベルからの学習のためのラベル検索拡張型拡散モデル

ノイズを含むラベルからの学習は、実用的な機械学習応用において重要な長期課題である。主な研究アプローチの一つとして、潜在的なノイズを含むラベルを洗練するためのラベル補正器（label corrector）を学習する手法が挙げられる。しかし、これらの手法はしばしば厳密な仮定に依存しており、特定の種類のラベルノイズに限定されるという制約がある。本論文では、ラベルノイズ問題を生成モデル（generative-model）の視点から再定式化する。すなわち、ラベルは初期のランダムな推測を段階的に改善することで生成されるという新たな視点を提示する。この新しいアプローチにより、既存の強力な拡散モデル（diffusion models）が、確率的な生成過程をスムーズに学習することが可能になる。生成過程における不確実性をモデル化した後、ラベルの最尤推定（maximum likelihood estimation）を用いて分類推論を行うことができる。ノイズラベルの影響を軽減するため、我々は「ラベル検索補強型（Label-Retrieval-Augmented; LRA）拡散モデル」を提案する。このモデルは、近傍ラベルの一貫性（neighbor consistency）を活用して、拡散学習に適した疑似クリーンラベル（pseudo-clean labels）を効果的に構築する。本モデルは柔軟性と汎用性に優れており、事前学習済みモデルの利用など、さまざまな種類の条件情報（conditional information）を容易に統合でき、モデル性能のさらなる向上を可能にする。広範な実験により評価を行った結果、本モデルはすべての標準的な実世界ベンチマークデータセットにおいて、新たな最先端（state-of-the-art; SOTA）の性能を達成した。特に、強力なCLIPモデルからの条件情報を取り入れることで、多くのケースにおいて既存のSOTA精度を10～20パーセンテージポイント上回る成果を達成した。