Les méthodes actuelles de détection d'orateur actif se concentrent sur la modélisation d'informations audiovisuelles à court terme provenant d'un seul orateur. Bien que cette stratégie puisse être suffisante pour traiter des scénarios avec un seul orateur, elle empêche une détection précise lorsqu'il s'agit d'identifier qui parmi plusieurs orateurs potentiels est en train de parler. Cet article introduit le Contexte d'Orateur Actif, une nouvelle représentation qui modélise les relations entre plusieurs orateurs sur de longues périodes. Notre Contexte d'Orateur Actif est conçu pour apprendre les relations binaires et temporelles à partir d'un ensemble structuré d'observations audiovisuelles. Nos expériences montrent qu'un ensemble structuré de caractéristiques améliore déjà les performances de détection d'orateur actif. De plus, nous constatons que le Contexte d'Orateur Actif proposé améliore l'état de l'art sur le jeu de données AVA-ActiveSpeaker, atteignant un mAP de 87,1%. Nous présentons des études ablatives qui vérifient que ce résultat est une conséquence directe de notre analyse multi-orateurs à long terme.