Beim Bootstrapping handelt es sich um eine gleichmäßige Stichprobennahme mit Ersetzung aus einem gegebenen Trainingssatz. Das heißt, wenn eine Stichprobe ausgewählt wird, ist es mit gleicher Wahrscheinlichkeit möglich, dass sie erneut ausgewählt und erneut zum Trainingssatz hinzugefügt wird.

Die Bootstrap-Methode wurde 1979 von Bradley Efron in den Annals of Statistics veröffentlicht. Wenn die Stichprobe aus einer Population stammt, die durch eine Normalverteilung beschrieben werden kann, ist ihre Stichprobenverteilung eine Normalverteilung. Wenn die Population, aus der die Stichprobe stammt, jedoch nicht durch eine Normalverteilung beschrieben werden kann, wird sie mithilfe einer asymptotischen Analyse, Bootstrap-Methoden usw. analysiert.