15日前

エンドツーエンド弱教師付き学習

Salva Rühling Cachay, Benedikt Boecking, Artur Dubrawski
エンドツーエンド弱教師付き学習
要約

複数の弱教師信号(Weak Supervision, WS)を統合することは、機械学習アプリケーションにおいて広く見られるデータラベル付与のボトルネックを緩和する手段となり得る。これは、正確なラベルを手動で収集する煩雑なプロセスを置き換えることで実現される。しかし、現在の最先端の手法の多くは、ラベル付き訓練データを一切使用せず、2つの分離されたモデリングステップを必要とする。すなわち、まず弱教師信号源に基づいて確率的潜在変数モデルを学習する(実際にはほとんど成り立たない仮定を置く)、その後、下流モデルの訓練を行う。重要な点として、第一段階のモデリングでは、下流モデルの性能を考慮していない。このような課題に対処するため、我々は、ニューラルネットワークを用いて過去の確率的事後分布を再パラメータ化することで生成された確率的ラベルと下流モデルの整合性を最大化することにより、下流モデルを直接学習するエンド・ツー・エンドのアプローチを提案する。実験結果から、従来手法に比べて、下流テストセットにおける最終モデルの性能が向上し、また弱教師信号源間の依存関係に対するロバスト性も向上していることが示された。

エンドツーエンド弱教師付き学習 | 最新論文 | HyperAI超神経