コンテキスト対応型メタラーニング

ChatGPTをはじめとする大規模言語モデルは、ファインチューニングを一切行わずに推論時に新しい概念を学習する驚異的な能力を示している。一方で、推論中に新しい物体を検出するように訓練された視覚モデルは、この能力を再現できず、代わりに性能が低かったり、類似物体に対するメタトレーニングおよび/またはファインチューニングを必要とする場合が多い。本研究では、大規模言語モデルを模倣するメタ学習アルゴリズムを提案する。この手法は、ファインチューニングを一切行わずに推論時に新しい視覚的概念を学習可能である。本アプローチは、固定された事前学習済み特徴抽出器を活用し、文脈内学習（in-context learning）に類似して、ラベルが既知のデータポイント群とラベルが未知のテストデータポイントを含むシーケンスとして視覚的メタ学習を定式化する。11のメタ学習ベンチマークのうち8つにおいて、本手法はメタトレーニングやファインチューニングを一切行わずに、これらのベンチマークでメタトレーニングが行われた最先端のアルゴリズムP>M>Fを上回るか、同等の性能を達成した。本研究のコードは、https://github.com/cfifty/CAML にて公開されている。