La tâche récemment proposée de dialogue scénique audiovisuel ouvre la voie à une approche plus fondée sur les données pour l'apprentissage des assistants virtuels, des enceintes intelligentes et des systèmes de navigation automobile. Toutefois, à ce jour, très peu est connu concernant la manière d'extraire efficacement des informations pertinentes à partir d'une multitude de capteurs qui sollicitent fortement le moteur computationnel de ces dispositifs. Dans ce papier, nous proposons donc une base simple pour le dialogue scénique audiovisuel, soigneusement analysée, entraînée de bout en bout. Notre méthode distingue, de manière entièrement data-driven, les signaux utiles des signaux perturbateurs grâce à un mécanisme d'attention. Nous évaluons l'approche proposée sur un jeu de données récent et exigeant dédié au dialogue scénique audiovisuel, et démontrons les caractéristiques clés qui permettent de surpasser l'état de l'art actuel de plus de 20 % sur le score CIDEr.