HyperAIHyperAI

Command Palette

Search for a command to run...

教師あり対照学習

Prannay Khosla Piotr Teterwak Chen Wang Aaron Sarna Yonglong Tian Phillip Isola Aaron Maschinot Ce Liu Dilip Krishnan

概要

近年、自己教師付き表現学習(self-supervised representation learning)に適用された対照学習(contrastive learning)は再び注目を集め、深層画像モデルの教師なし学習において最先端の性能を達成している。現代のバッチ対照学習アプローチは、従来の対照損失(トリプルット損失、マックスマージン損失、Nペア損失など)を包含するか、それらを大幅に上回る性能を発揮している。本研究では、自己教師付きバッチ対照学習アプローチを完全教師付き設定へ拡張し、ラベル情報を効果的に活用することを可能にした。同一クラスに属するデータ点のクラスタは埋め込み空間内で引き寄せられ、同時に異なるクラスのクラスタは互いに押しのけられる。我々は、教師付き対照損失(Supervised Contrastive, SupCon損失)の2つの可能な実装形態を分析し、最も優れた性能を発揮する損失関数の定式化を特定した。ResNet-200を用いたImageNetデータセットにおいて、トップ1精度81.4%を達成し、同アーキテクチャに関する報告済み最高値を0.8%上回った。他のデータセットおよび2種類のResNetバリアントにおいても、クロスエントロピー損失を一貫して上回る性能を示した。また、自然なノイズ(自然な劣化)に対して高いロバスト性を示し、最適化手法やデータ拡張のハイパーパラメータ設定に対してより安定した挙動を示した。本損失関数は実装が簡単であり、参考実装のTensorFlowコードは https://t.ly/supcon にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
教師あり対照学習 | 記事 | HyperAI超神経