La classification des stades de sommeil constitue un élément important du diagnostic des troubles du sommeil. Elle repose sur l'inspection visuelle des enregistrements de polysomnographie par des technologues du sommeil formés. Des approches automatisées ont été conçues pour alléger cette tâche très consommatrice de ressources. Cependant, ces approches sont généralement comparées à une seule annotation d'un évaluateur humain, malgré un accord inter-évaluateurs d'environ 85 %. La présente étude introduit deux jeux de données publiquement disponibles : DOD-H comprenant 25 volontaires sains et DOD-O comprenant 55 patients souffrant d'apnée obstructive du sommeil (AOS). Les deux jeux de données ont été évalués par 5 technologues du sommeil provenant de différents centres de sommeil. Nous avons développé un cadre permettant de comparer les approches automatisées à un consensus d'évaluateurs humains multiples. En utilisant ce cadre, nous avons évalué et comparé les principales approches décrites dans la littérature. Nous avons également développé et évalué une nouvelle méthode d'apprentissage profond, SimpleSleepNet, inspirée par les méthodes actuelles de pointe. Nous avons démontré que de nombreuses méthodes peuvent atteindre des performances au niveau humain sur les deux jeux de données. SimpleSleepNet a obtenu un F1 de 89,9 % contre 86,8 % en moyenne pour les évaluateurs humains sur DOD-H, et un F1 de 88,3 % contre 84,8 % sur DOD-O. Notre étude souligne que l'utilisation des méthodes automatisées les plus récentes pour la classification des stades de sommeil surpassent les performances des évaluateurs humains chez les volontaires sains et chez les patients souffrant d'AOS. Une réflexion pourrait être engagée quant à l'utilisation d'approches automatisées dans le cadre clinique.