HyperAIHyperAI

Command Palette

Search for a command to run...

コンテキスト対応型メタラーニング

Christopher Fifty Dennis Duan Ronald G. Junkins Ehsan Amid Jure Leskovec Christopher Re Sebastian Thrun

概要

ChatGPTをはじめとする大規模言語モデルは、ファインチューニングを一切行わずに推論時に新しい概念を学習する驚異的な能力を示している。一方で、推論中に新しい物体を検出するように訓練された視覚モデルは、この能力を再現できず、代わりに性能が低かったり、類似物体に対するメタトレーニングおよび/またはファインチューニングを必要とする場合が多い。本研究では、大規模言語モデルを模倣するメタ学習アルゴリズムを提案する。この手法は、ファインチューニングを一切行わずに推論時に新しい視覚的概念を学習可能である。本アプローチは、固定された事前学習済み特徴抽出器を活用し、文脈内学習(in-context learning)に類似して、ラベルが既知のデータポイント群とラベルが未知のテストデータポイントを含むシーケンスとして視覚的メタ学習を定式化する。11のメタ学習ベンチマークのうち8つにおいて、本手法はメタトレーニングやファインチューニングを一切行わずに、これらのベンチマークでメタトレーニングが行われた最先端のアルゴリズムP>M>Fを上回るか、同等の性能を達成した。本研究のコードは、https://github.com/cfifty/CAML にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています