HyperAIHyperAI

Command Palette

Search for a command to run...

コントラスト検出を用いた効率的な視覚的事前学習

Olivier J. Hénaff Skanda Koppula Jean-Baptiste Alayrac Aaron van den Oord Oriol Vinyals João Carreira

概要

自己教師あり事前学習は、転移学習に向けた強力な表現を生成することが示されてきた。しかしながら、その性能向上は、教師あり事前学習と比べて1桁以上大きな計算コストを伴う。本研究では、新たな自己教師あり目的関数「対照的検出(contrastive detection)」を導入することで、この計算上のボトルネックを克服する。この目的関数は、画像の変換(オーギュメンテーション) across にわたってオブジェクトレベルの特徴を識別することを表現に課す。このアプローチは、1枚の画像あたり豊かな学習信号を抽出でき、さまざまな下流タスクにおいて最先端の転移精度を達成しつつ、事前学習に要する計算量を最大で10倍削減できる。特に、ImageNetで事前学習した最強のモデルは、1000倍多くの事前学習データを使用した、これまでに最も大規模な自己教師ありシステムの一つであるSEERと同等の性能を発揮する。さらに、本目的関数はCOCOのようなより複雑な画像データセット上での事前学習にも自然に適用可能であり、COCOからPASCALへの教師あり転移学習との間の性能ギャップを縮めることに成功した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています