Les techniques traditionnelles de reconnaissance des émotions se sont concentrées uniquement sur l'analyse des expressions faciales, offrant ainsi une capacité limitée à encoder le contexte qui représente de manière exhaustive les réponses émotionnelles. Nous présentons des réseaux profonds pour la reconnaissance des émotions contextualisée, appelés CAER-Net, qui exploitent non seulement les expressions faciales humaines mais aussi les informations contextuelles de manière conjointe et renforcée. L'idée clé est de masquer les visages humains dans une scène visuelle et de rechercher d'autres contextes grâce à un mécanisme d'attention. Nos réseaux comprennent deux sous-réseaux : des réseaux d'encodage à double flux pour extraire séparément les caractéristiques des régions faciales et contextuelles, et des réseaux de fusion adaptative pour combiner ces caractéristiques de manière adaptative. Nous introduisons également un nouveau benchmark pour la reconnaissance des émotions contextualisée, appelé CAER, qui est plus approprié que les benchmarks existants tant qualitativement que quantitativement. Sur plusieurs benchmarks, CAER-Net démontre l'efficacité du contexte pour la reconnaissance des émotions. Notre ensemble de données est disponible à l'adresse http://caer-dataset.github.io.