9日前

長尾視覚認識のためのネスト型協調学習

Jun Li, Zichang Tan, Jun Wan, Zhen Lei, Guodong Guo
長尾視覚認識のためのネスト型協調学習
要約

長尾データセット上で学習されたネットワークは、同じ学習設定下でも著しく異なる結果を示すことがあり、これにより長尾学習における大きな不確実性が浮き彫りになる。この不確実性を軽減するために、本研究では複数のエキスパートを協調的に学習することで問題に対処する「ネスト型協調学習(Nested Collaborative Learning, NCL)」を提案する。NCLは、各エキスパートに対する個別的な教師あり学習に焦点を当てた「ネスト型個別学習(Nested Individual Learning, NIL)」と、複数エキスパート間での知識伝達を重視する「ネスト型バランスドオンライン蒸留(Nested Balanced Online Distillation, NBOD)」という2つの核心的な構成要素から構成される。より洗練された表現学習を実現するために、NILおよびNBODはともにネスト構造を採用しており、全カテゴリを対象とした全体的視点だけでなく、一部の難易度の高いカテゴリに注目する部分的視点でも学習が行われる。部分的視点における学習では、新たに提案する「ハードカテゴリマイニング(Hard Category Mining, HCM)」を用いて、予測スコアが高かった負例カテゴリをハードカテゴリとして選定する。NCLでは、これらの二つの視点からの学習がネスト構造で統合され、強く関連しあいながら補完的であるため、ネットワークがグローバルかつ堅牢な特徴を捉えるだけでなく、細部にわたる区別能力も獲得することが可能となる。さらに、特徴の強化のために自己教師学習(self-supervision)も導入している。広範な実験により、単一モデルまたはアンサンブルのいずれにおいても、本手法が最先端技術を上回る優れた性能を発揮することが確認された。

長尾視覚認識のためのネスト型協調学習 | 最新論文 | HyperAI超神経