Das Photoplethysmogramm (PPG)-Signal wird weit verbreitet in Pulsoximetern und Smartwatches eingesetzt. Ein grundlegender Schritt bei der Analyse des PPG-Signals ist die Detektion von Herzschlägen. Es wurden mehrere Algorithmen zur PPG-Beat-Detektion vorgeschlagen, wobei jedoch unklar ist, welcher Algorithmus die beste Leistung erbringt. Zielsetzung: Diese Studie zielte darauf ab: (i) einen Rahmen zu entwickeln, mit dem PPG-Beat-Detektoren entworfen und getestet werden können; (ii) die Leistung von PPG-Beat-Detektoren in verschiedenen Anwendungsfällen zu bewerten; und (iii) zu untersuchen, wie deren Leistung durch Patientendemografie und Physiologie beeinflusst wird. Ansatz: Fünfzehn Beat-Detektoren wurden anhand von Elektrokardiogramm-abgeleiteten Herzschlägen an Daten aus acht Datensätzen bewertet. Die Leistung wurde anhand des F1-Scores bewertet, der Sensitivität und positiver Vorhersagewahrscheinlichkeit kombiniert. Hauptergebnisse: Acht Beat-Detektoren zeigten in Abwesenheit von Bewegung gute Leistung, mit F1-Scores von ≥90 % bei Krankenhausdaten und bei tragbaren Daten, die im Ruhezustand erfasst wurden. Ihre Leistung war während körperlicher Belastung schlechter, mit F1-Scores zwischen 55 % und 91 %; bei Neugeborenen schlechter als bei Erwachsenen, mit F1-Scores von 84–96 % bei Neugeborenen im Vergleich zu 98–99 % bei Erwachsenen; sowie bei Vorhofflimmern (AF) schlechter, mit F1-Scores von 92–97 % bei AF gegenüber 99–100 % bei normalem Sinusrhythmus. Bedeutung: Zwei PPG-Beat-Detektoren, bezeichnet als „MSPTD“ und „qppg“, zeigten die beste Leistung mit komplementären Leistungsmerkmalen. Diese Erkenntnisse können zur fundierten Auswahl eines PPG-Beat-Detektionsalgorithmus herangezogen werden. Die Algorithmen, Datensätze und der Bewertungsrahmen sind frei verfügbar.