HyperAIHyperAI

Command Palette

Search for a command to run...

クラスタ割り当ての対比による視覚特徴の非教師学習

Mathilde Caron Ishan Misra Julien Mairal Priya Goyal Piotr Bojanowski Armand Joulin

概要

教師なし画像表現は、最近の対照学習手法の進展により、教師あり事前学習との差を著しく縮めている。しかし、従来の対照学習手法はオンライン学習を前提としており、大量の明示的なペアワイズ特徴比較に依存しており、計算コストが非常に高いという課題がある。本論文では、ペアワイズ比較を必要とせずに対照学習の利点を活かすオンラインアルゴリズム「SwAV(Swapped Prediction for Contrastive Learning)」を提案する。具体的には、同一画像の異なる増強(ビュー)に対して得られたクラスタ割り当ての整合性を強制しつつ、データを同時にクラスタリングする。これにより、対照学習のように特徴を直接比較するのではなく、あるビューの特徴から別のビューのクラスタ割り当てを予測する「交差予測(swapped prediction)」機構を採用している。本手法は大規模および小規模なバッチで学習可能であり、データ量に制限なくスケーラブルである。従来の対照学習手法と比較して、大規模なメモリバンクや特別なモーメンタムネットワークを必要としないため、メモリ効率が優れている。さらに、計算量やメモリ使用量をほとんど増加させず、異なる解像度の複数のビューを混合して用いる新しいデータ増強戦略「multi-crop」も提案する。実験により、ResNet-50を用いてImageNet上でトップ1精度75.3%を達成し、検証したすべての転移学習タスクにおいて、教師あり事前学習を上回ることを確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています