Aktuelle Methoden zur Erkennung aktiver Sprecher konzentrieren sich auf die Modellierung kurzfristiger audiovisueller Informationen eines einzelnen Sprechers. Obwohl diese Strategie ausreicht, um Einzelsprecher-Szenarien zu bearbeiten, verhindert sie eine genaue Erkennung, wenn es darum geht, herauszufinden, welche der vielen potenziellen Sprecher gerade sprechen. In dieser Arbeit wird der Active Speaker Context (aktiver Sprecher Kontext) vorgestellt, eine neue Darstellung, die Beziehungen zwischen mehreren Sprechern über lange Zeithorizonte modelliert. Unser Active Speaker Context ist so konzipiert, dass er paarweise und zeitliche Beziehungen aus einem strukturierten Ensemble von Audio-Visualbeobachtungen lernt. Unsere Experimente zeigen, dass ein strukturiertes Merkmalsensemble bereits die Leistung der Erkennung aktiver Sprecher verbessert. Darüber hinaus stellen wir fest, dass der vorgeschlagene Active Speaker Context den Stand der Technik im AVA-ActiveSpeaker-Datensatz verbessert und einen mAP von 87,1 % erreicht. Wir präsentieren Reduktionstudien (Ablation Studies), die bestätigen, dass dieses Ergebnis eine direkte Folge unserer langfristigen Mehrsprecher-Analyse ist.