自己監督は良き少ショット学習者となる可能性がある

既存の少標本学習（Few-Shot Learning, FSL）手法は、大量のラベル付きデータセットでの学習に依存しており、これにより豊富な非ラベルデータを活用することができない。情報理論的な観点から、我々は自己監督を使用して表現を学習する効果的な無教師FSL手法を提案する。InfoMax原理に従って、我々の手法はデータの内在構造を捉えることで包括的な表現を学習する。具体的には、低バイアスの相互情報（Mutual Information, MI）推定器を使用してインスタンスとその表現の相互情報を最大化することで、自己監督による事前学習を行う。教師あり事前学習が既知クラスの識別可能な特徴に焦点を当てるのに対し、我々の自己監督モデルは既知クラスに対するバイアスが少なく、未知クラスへの汎化性能が向上する。教師あり事前学習と自己監督事前学習が実際には異なるMI目的関数を最大化していることを説明する。さらに、様々な訓練設定におけるFSL性能を分析するために広範な実験を行った。驚くべきことに、結果は適切な条件下で自己監督事前学習が教師あり事前学習を上回ることが示された。最新のFSL手法と比較しても、基底クラスのラベルなしで広く使用されているFSLベンチマークにおいて同等以上の性能を達成している。この翻訳では、専門用語や技術概念について正確に翻訳し、情報理論や少標本学習などの分野における一般的な用語を使用しています。また、文章構造や表現方法については日本語の読みやすさと自然さを考慮しつつ、正式かつ客観的なスタイルで記述しています。原文との内容の一貫性も保たれています。