L'attention auditive au discours naturel est un processus cérébral complexe. Sa quantification à partir de signaux physiologiques peut être précieuse pour améliorer et élargir la gamme d'applications des systèmes actuels d'interface cerveau-ordinateur, mais elle reste une tâche difficile. Dans cet article, nous présentons un ensemble de données de signaux physiologiques collectés lors d'une expérience sur l'attention auditive au discours naturel. Dans cette expérience, des stimuli auditifs composés de reproductions de phrases en anglais dans différentes conditions auditives ont été présentés à 25 participants non natifs, qui étaient invités à transcrire les phrases. Au cours de l'expérience, des signaux électroencéphalographiques (EEG) à 14 canaux, des réponses cutanées galvaniques (RCG) et des photopléthysmogrammes (PPG) ont été collectés auprès de chaque participant. Sur la base du nombre de mots correctement transcrits, un score d'attention a été obtenu pour chaque stimulus auditif présenté aux sujets. Une forte corrélation ($p<<0{,}0001$p<<0,0001) entre le score d'attention et les conditions auditives a été observée. Nous formulons également quatre tâches prédictives différentes impliquant l'ensemble de données collectées et développons un cadre d'extraction de caractéristiques. Les résultats de chaque tâche prédictive sont obtenus en utilisant une machine à vecteurs de support (SVM) avec des caractéristiques spectrales et sont supérieurs au niveau aléatoire. L'ensemble de données a été rendu publiquement disponible pour des recherches ultérieures, accompagné d'une bibliothèque Python - phyaat facilitant le prétraitement, la modélisation et la reproduction des résultats présentés dans cet article. L'ensemble de données et les autres ressources sont partagés sur la page web - https://phyaat.github.io.