Le remplissage de slots (Slot Filling, SF) est l'une des sous-tâches de la compréhension du langage parlé (Spoken Language Understanding, SLU), dont l'objectif est d'extraire les constituants sémantiques à partir d'une utterance en langage naturel donnée. Cette tâche est formulée comme un problème d'étiquetage de séquence. Récemment, il a été démontré que l'information contextuelle est essentielle pour cette tâche. Toutefois, les modèles existants exploitent cette information de manière restreinte, par exemple en utilisant l'attention auto-attentionnelle. Ces approches peinent à distinguer les effets du contexte sur la représentation du mot et sur l'étiquette du mot. Pour résoudre ce problème, nous proposons dans cet article une nouvelle méthode permettant d'intégrer l'information contextuelle à deux niveaux distincts : le niveau de représentation et le niveau spécifique à la tâche (c’est-à-dire le niveau d’étiquetage). Nos expériences étendues sur trois jeux de données de référence pour le SF montrent l’efficacité de notre modèle, qui atteint de nouveaux résultats d’état de l’art sur les trois jeux de données de référence pour cette tâche.