Réseaux de plugins pour l'inférence en présence de preuves partielles

Dans cet article, nous proposons une nouvelle méthode pour intégrer des preuves partielles dans l'inférence des réseaux de neurones convolutifs profonds. Contrairement aux méthodes existantes les plus performantes, qui modifient itérativement l'entrée du réseau ou exploitent une taxonomie externe d'étiquettes pour prendre en compte les preuves partielles, nous ajoutons des modules de réseau distincts (« Plugin Networks ») aux couches intermédiaires d'un réseau convolutif pré-entraîné. L'objectif de ces modules est d'intégrer un signal supplémentaire, c'est-à-dire des informations sur les étiquettes connues, dans la procédure d'inférence et d'ajuster la sortie prédite en conséquence. Étant donné que les plugins attachés ont une structure simple, composée uniquement de couches entièrement connectées, nous avons considérablement réduit le coût computationnel de l'entraînement et de l'inférence. En même temps, l'architecture proposée permet de propager directement les informations sur les étiquettes connues jusqu'aux couches intermédiaires afin d'améliorer la représentation finale. Une évaluation approfondie de la méthode proposée confirme que nos Plugin Networks surpassent l'état de l'art dans diverses tâches, notamment la catégorisation des scènes, l'annotation d'images à plusieurs étiquettes et la segmentation sémantique.