要約
アクティブラーニングの検討において、ラベル付き例の数（予算サイズ）と適切なクエリ戦略との関係に注目する。理論的分析の結果、相転移に類似した挙動が見られた。すなわち、予算が小さい場合には代表的な例が最も適切なクエリ対象となる一方、予算が大きい場合には代表的でない例（unrepresentative examples）がより適切なクエリ対象となる。この傾向は、一般的な分類モデルにおいても類似した現象として確認された。これらの知見を踏まえ、低予算環境に特化した深層学習型アクティブラーニング戦略「TypiClust」を提案する。様々なアーキテクチャと画像データセットを用いた教師あり学習における比較的実証的調査において、TypiClustは低予算領域で他のすべてのアクティブラーニング戦略を上回る性能を示した。また、半教師ありフレームワークにおいてTypiClustを活用した場合、さらに顕著な性能向上が得られた。特に、CIFAR-10データセット上で10個のラベル付き例をTypiClustにより選定して学習させた最先端の半教師あり手法は、93.2％の精度を達成し、ランダム選択に比べて39.4％の向上を実現した。コードは以下のURLで公開されている：https://github.com/avihu111/TypiClust。