Leave-out-MethodeEs handelt sich um eine Methode zur Modellbewertung, die den Datensatz D in zwei sich gegenseitig ausschließende Sätze aufteilt. Unter der Annahme, dass ein Satz der Trainingssatz S und der andere der Testsatz T ist, haben wir:

D = S ∪ T , S ∩ T = ∅

Durch die Aufteilung der Trainings-/Testsätze sollte die Datenverteilung möglichst konsistent bleiben. Um zu vermeiden, dass die Ergebnisse durch die zusätzliche Verzerrung beeinflusst werden, die bei der Datenaufteilung entsteht, wird üblicherweise eine geschichtete Stichprobe verwendet.

Da unterschiedliche Unterteilungsmethoden zu unterschiedlichen Trainings-/Testsätzen führen, werden auch die entsprechenden Ergebnisse der Modellbewertung unterschiedlich ausfallen. Daher sind die Schätzergebnisse einer einmaligen Anwendung der Holdout-Methode meist unzuverlässig. Normalerweise sind mehrere zufällige Teilungen und wiederholte experimentelle Auswertungen erforderlich, und der Durchschnittswert wird als Auswertungsergebnis verwendet.