対照学習は、サンプルを互いに対照する原理を使用して、データ クラス間で共通し、あるデータ クラスを別のデータ クラスから区別するプロパティを学習することにより、視覚的タスクのパフォーマンスを向上させる手法です。
人間が周囲の世界を理解する方法を模倣するこの学習モデルは、深層学習の文献で有望な結果を示しており、それによってコンピューター ビジョン研究の分野でますます重要になっています。
対照学習は、ラベルのないデータ ポイントを互いに並べて、どの点が似ていてどの点が異なるかをモデルに教える機械学習のパラダイムです。
つまり、名前が示すように、サンプルが互いに比較され、同じ分布に属するサンプルが埋め込み空間内で互いに押し付けられます。代わりに、異なるディストリビューションに属するものが互いに競合します。
教師あり学習は、多数のラベル付きサンプルを使用してモデルをトレーニングする機械学習手法です。データラベルの品質は、教師ありモデルの成功にとって重要です。
しかし、このような高品質のラベル付きデータを取得することは、特に生物医学イメージングなどの分野では面倒な作業であり、専門の医師がデータに注釈を付ける必要があります。これには費用がかかり、時間もかかります。教師あり学習 ML プロジェクト 80% の時間は、モデル トレーニング用のデータの取得とクリーニングに費やされています。
したがって、深層学習の最近の研究は、モデルのトレーニングにおける監視の必要性を減らすことに焦点を当てています。この目的のために、半教師あり学習、教師なし学習、自己教師あり学習などのいくつかの方法が提案されています。
半教師あり学習では、少量のラベル付きデータと大量のラベルなしデータを使用して深いモデルをトレーニングします。教師なし学習では、モデルはデータラベルなしで非構造化データを理解しようとします。
自己教師あり学習 (SSL) は、少し異なるアプローチを採用します。
教師なし学習と同様に、非構造化データがモデルへの入力として提供されます。ただし、モデルは独自にデータに注釈を付け、高い信頼度で予測されたラベルは、モデル トレーニングの今後の反復でグランド トゥルースとして使用されます。
これにより、モデルの重みが継続的に改善され、より適切な予測が可能になります。従来の教師付き手法と比較した SSL 手法の有効性は、一部のコンピュータ ビジョン研究者の注目を集めています。
SSL で使用される最も古く、最も一般的な手法の 1 つは対照学習です。これは、「ポジティブ」サンプルと「ネガティブ」サンプルを使用して深層学習モデルをガイドします。
対照学習はその後さらに進化し、現在では完全教師ありおよび半教師ありの設定で使用され、既存の最先端技術のパフォーマンスを向上させています。
ディープ ラーニングとコンピューター ビジョンの研究者は、最近の文献で 3 つの一般的な対照学習フレームワークの動作メカニズムを提案しています。
Google Brain によって開発された SimCLR モデルは、視覚表現の対比学習のためのフレームワークです。 SimCLR は、対比学習を通じて自己教師あり学習および半教師あり学習の問題を解決するために提案されています。
その基本的な動作原理は、潜在空間内の対照的な損失を利用して、同じサンプルの異なる強化バージョン間の一貫性を最大化することです。
インスタンスの識別に基づくほとんどの対照的な学習アルゴリズムは、同じインスタンスの事前定義された変換に対して不変になるようにエンコーダーをトレーニングします。
ほとんどの方法では、同じ画像の異なるビューをコントラスト損失の正の値として考慮しますが、この論文で開発された最近傍コントラスト学習 (NNCLR) フレームワークは、データセット内の他のインスタンスの正の値を使用しようとします。データセットからの異なる画像。同じイメージを強化するのではなく、同じカテゴリーを強調します。
プロトタイプ対照学習 (PCL) は、対照学習とクラスタリングをリンクした教師なし表現学習方法です。 PCL は、たとえば識別タスクなどの低レベルの特徴を学習し、クラスタリングを通じて発見された意味構造を学習された埋め込み空間にエンコードします。
【1】https://www.v7labs.com/blog/contrastive-learning-guide#ten-contrastive-learning-frameworks