HyperAIHyperAI

Command Palette

Search for a command to run...

視覚表現の対照学習のためのシンプルなフレームワーク

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

概要

本論文では、視覚表現の対照学習のためのシンプルなフレームワークであるSimCLRを提案します。当該フレームワークは、特殊なアーキテクチャやメモリバンクを必要とせずに、最近提案された対照的な自己監督学習アルゴリズムを簡素化しています。対照的予測タスクが有用な表現を学習する要因を理解するために、我々はフレームワークの主要な構成要素を系統的に研究しました。その結果、(1)データ拡張の組み合わせが効果的な予測タスクを定義する上で重要な役割を果たすことが示されました、(2)表現と対照的損失の間に学習可能な非線形変換を導入することで、学習された表現の品質が大幅に向上することが確認されました、そして(3)対照的学習は、教師あり学習よりも大きなバッチサイズとより多くの訓練ステップから恩恵を受けます。これらの知見を組み合わせることで、ImageNetでの自己監督学習および半教師あり学習における従来の手法を大幅に上回ることができました。SimCLRによって学習された自己監督表現上に訓練された線形分類器は76.5%のトップ-1精度を達成し、これは以前の最先端技術に対して7%の相対的な改善であり、教師ありResNet-50と同等の性能を示しています。1%のみのラベルを使用して微調整した場合でも、トップ-5精度85.8%を達成し、AlexNetよりも100倍少ないラベルで優れた性能を発揮します。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています