ニューラルネットワークを用いた堅牢かつ再現性の高いアクティブラーニングへ

アクティブラーニング（AL）は、ラベルの付与が困難な分野においてアノテーションコストを削減する可能性を秘めた有望な機械学習（ML）の枠組みであり、大量のラベルなしデータを効率的に処理できる点が特徴である。近年、ニューラルネットワークに基づくAL手法が多数提案されており、それぞれ異なるヒューリスティクスを用いてこの目的を達成している。本研究では、同一の実験設定下で、不確実性ベース、多様性ベース、コミッティベースの異なるALアルゴリズムが、ランダムサンプリングベースラインに対して一貫した性能向上を示さないことを示した。さまざまな実験を通じて、確率的要因の影響を制御した結果、ALアルゴリズムが達成する性能指標のばらつきが、これまで報告されてきた結果と矛盾するものとなる可能性があることを明らかにした。さらに、強い正則化条件下では、さまざまな実験設定においてAL手法がランダムサンプリングベースラインに対してほとんどまたは全く優位性を示さないことも発見した。最後に、新しいALアルゴリズムの結果を評価する際の再現性と実験条件の変化に対するロバスト性を確保するための一連の推奨事項を提示した。本研究で使用したコードを公開し、ALの評価を促進することを目的としている。本研究の知見と推奨事項が、ニューラルネットワークを用いたALにおける再現性の高い研究の発展に貢献すると期待している。コードはGitHubにてオープンソース公開しており、https://github.com/PrateekMunjal/TorchAL からアクセス可能である。