Supervision faible bout-en-bout

L’agrégation de plusieurs sources de supervision faible (WS) permet de réduire le goulot d’étranglement lié à l’étiquetage des données, fréquent dans de nombreuses applications d’apprentissage automatique, en remplaçant la collecte fastidieuse d’étiquettes de vérité terrain. Toutefois, les approches actuelles de pointe qui n’utilisent aucune donnée étiquetée nécessitent deux étapes de modélisation distinctes : d’abord l’apprentissage d’un modèle de variable latente probabiliste basé sur les sources de WS — une étape qui repose sur des hypothèses rarement vérifiées en pratique — suivie de l’entraînement d’un modèle en aval. De manière cruciale, la première étape ne tient pas compte de la performance du modèle en aval. Pour surmonter ces limites, nous proposons une approche end-to-end permettant d’apprendre directement le modèle en aval en maximisant son accord avec des étiquettes probabilistes générées par réparamétrisation des postérieurs probabilistes antérieurs à l’aide d’un réseau de neurones. Nos résultats montrent une amélioration par rapport aux travaux antérieurs en termes de performance du modèle final sur les jeux de test en aval, ainsi qu’une meilleure robustesse aux dépendances entre les sources de supervision faible.