Cet article propose des modèles de réseaux de neurones convolutifs profonds qui utilisent le contexte local et global pour prédire les étiquettes d'activités humaines dans des images fixes, atteignant des performances de pointe sur deux ensembles de données récents comportant chacun plusieurs centaines d'étiquettes. Nous utilisons l'apprentissage à partir de multiples instances pour gérer le manque de supervision au niveau des instances individuelles de personnes, ainsi qu'une perte pondérée pour traiter les données d'entraînement déséquilibrées. De plus, nous montrons comment des caractéristiques spécialisées formées sur ces ensembles de données peuvent être utilisées pour améliorer la précision dans la tâche de réponse aux questions visuelles (VQA), sous forme de questions à trous avec choix multiples (Visual Madlibs). Plus précisément, nous abordons deux types de questions concernant les activités des personnes et les relations personne-objet, et démontrons des améliorations par rapport aux caractéristiques génériques formées sur la tâche de classification ImageNet.