HyperAIHyperAI

Command Palette

Search for a command to run...

ラベルを手放す:非監督転移によるアプローチ

Artyom Gadetsky Yulun Jiang Maria Brbić

概要

基礎的なビジョン言語モデルは、事前学習された表現を多様な下流タスクに驚異的なゼロショット転移性をもたらしました。しかし、新しいタスクを解決するためには、データに現れる視覚的カテゴリを定義するために依然として人間のガイダンスが必要です。本研究では、異なる基盤モデルの表現空間で最大マージン分類器を誘導するデータセットのラベリングを探すことで、完全非監督的な転移が出現することを示します。私たちはTURTLE(Test Unsupervised Representation Transfer Learning Efficiency)と呼ばれる完全非監督的手法を提案し、このガイド原則を効果的に活用して、下流データセットの潜在的なラベリングを一切の教師なしで発見し、タスク固有の表現学習を行わずに達成します。TURTLEは26の多様なベンチマークデータセットで評価され、新たな最先端の非監督性能を達成することが示されました。さらに、TURTLEは完全非監督であるにもかかわらず、広範なデータセットにおいてゼロショット転移ベースラインを超える性能を発揮します。特に、同じ表現空間を使用することで、26のデータセットにおけるCLIP(Contrastive Language–Image Pre-training)ゼロショットの平均性能と同等の結果を得ています。これは幅広いアーキテクチャとモデルサイズに対応しています。2つの基盤モデルの表現空間を使用して潜在的なラベリングを探ることにより、TURTLEはゼロショット転移と非監督プロンプトチューニングベースラインを超え、非監督転移の驚くべき力と効果性を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ラベルを手放す:非監督転移によるアプローチ | 記事 | HyperAI超神経