2ヶ月前

一般化ゼロショット学習からクラス記述子を用いたロングテールへの展開

Dvir Samuel; Yuval Atzmon; Gal Chechik
一般化ゼロショット学習からクラス記述子を用いたロングテールへの展開
要約

実世界のデータは主に非平衡で長尾分布を示しますが、深層モデルは頻繁なクラスの存在下で稀なクラスを認識することが困難です。また、クラスにはテキスト説明などの補助情報が伴うことがありますが、これらの情報を非平衡な長尾分布データの学習にどのように利用するかはまだ完全には明確ではありません。このような説明は主に(一般化された)ゼロショット学習(ZSL)で使用されており、クラス説明付きのZSLが長尾分布にも有用である可能性を示唆しています。本稿では、DRAGONと呼ばれるクラス記述子を使用した長尾分布学習の後期融合アーキテクチャについて述べます。DRAGONは以下の2つの機能を学習します。(1) サンプルごとにヘッドクラスへのバイアスを修正すること;(2) クラス記述子からの情報を融合して、テールクラスの精度を向上させること。さらに、既存の属性付き学習データセットやクラス記述子付きImagenet-LTのバージョンに基づいて、CUB-LT, SUN-LT, AWA-LTという新しいベンチマークを導入します。DRAGONは新しいベンチマークにおいて最先端モデルを上回り、既存のGFSL-d(クラス記述子付き一般化されたファーストショット学習)および標準的な(視覚情報のみの)長尾分布学習ImageNet-LT, CIFAR-10, 100, Places365においても新たな最先端となる性能を達成しています。