2ヶ月前

自己監督表現学習の非効率性の解決

Guangrun Wang; Keze Wang; Guangcong Wang; Philip H.S. Torr; Liang Lin
自己監督表現学習の非効率性の解決
要約

自己監督学習(特に対照的学習)は、非教師ありの方法で識別的な表現を学習する大きな可能性があることから、大きな関心を集めています。既存の対照的学習手法は、認識精度が同等である場合でも教師あり学習よりも約10倍以上の訓練エポックが必要となるなど、非常に低い学習効率という問題を抱えています。本論文では、対照的学習における2つの矛盾した現象、すなわちクラスタリング不足と過剰クラスタリングの問題を明らかにし、これらが学習効率向上の主要な障壁となっていることを示します。クラスタリング不足とは、対照的学習に使用される負例サンプルペアが実際のオブジェクトクラスをすべて区別するのに十分でない場合、モデルがクラス間サンプルの相違点を効率的に学習できないことを指します。過剰クラスタリングとは、負例サンプルペアが多すぎることによりモデルが同じ実際のクラス内のサンプルを異なるクラスターに過度に分類してしまうため、特徴量を効率的に学習できないことを意味します。これらの2つの問題を同時に克服するために、我々は切り捨て三項損失を使用した新しい自己監督学習フレームワークを提案します。具体的には、正例ペアと負例ペアとの相対的な距離を最大化することを目指す三項損失を使用してクラスタリング不足の問題に対処し、ベルヌーイ分布モデルによって保証されるように全負例サンプルから負例代表サンプルを選択して負例ペアを作成することで過剰クラスタリングの問題を回避します。我々は提案したフレームワークを複数の大規模ベンチマーク(例えばImageNet, SYSU-30k, COCO)で広範に評価しました。結果は明確なマージンで最新の最先端手法よりも優れた性能(例えば学習効率)を持つことを示しています。コードは以下のURLから入手可能です: https://github.com/wanggrun/triplet 。

自己監督表現学習の非効率性の解決 | 最新論文 | HyperAI超神経