睡眠ステージ分類は、睡眠障害の診断において重要な要素を構成しています。これは、訓練を受けた睡眠技術者がポリソムノグラフィ記録を視覚的に検査することに依存しています。自動化された手法がこの資源集中的な作業を軽減するために設計されていますが、これらの手法は通常、約85%の評者間合意率しか達成していない単一の人間スコアとの比較のみで評価されています。本研究では、DOD-H（25人の健常ボランティアを含む）とDOD-O（55人の閉塞型睡眠時無呼吸症候群（OSA）患者を含む）という2つの公開データセットを紹介します。両データセットは、異なる睡眠センターから5人の睡眠技術者によってスコアリングされました。私たちは、複数の人間スコアのコンセンサスと自動化された手法を比較するためのフレームワークを開発しました。このフレームワークを使用して、主要な文献的手法をベンチマークし比較しました。また、最新の最先端技術にインスピレーションを得た新しい深層学習手法であるSimpleSleepNetを開発しベンチマークしました。多くの手法が両データセットで人間レベルの性能に到達できることを示しました。SimpleSleepNetはDOD-HでF1値89.9%（人間スコア平均86.8%）、DOD-OでF1値88.3%（人間スコア平均84.8%）を達成しました。本研究は、最新の自動化された睡眠ステージ分類が健常ボランティアおよびOSA患者における人間スコアの性能を超えることを明らかにしています。臨床設定での自動化手法の使用について考慮されるべきです。