Datenpartitionen und Metriken für die Benchmarking von Methoden auf Chirurgie-Aktions-Tripel-Datensätzen

Neben der Erzeugung von Daten und Annotationen ist die Entwicklung sinnvoller Datenpartitionierungsstrategien und Evaluationsmetriken für die Erstellung eines Benchmark-Datensatzes entscheidend. Diese Praxis gewährleistet Konsens in der Nutzung der Daten, homogene Bewertung und einheitlichen Vergleich von Forschungsmethoden auf dem Datensatz. Diese Studie konzentriert sich auf CholecT50, einen chirurgischen Datensatz mit 50 Videos, der chirurgische Aktivitäten als Tripel von formalisiert. In dieser Arbeit stellen wir die Standard-Partitionierungen für die Datensätze CholecT50 und CholecT45 vor und zeigen, wie sie sich im Vergleich zur bisherigen Nutzung des Datensatzes verhalten. CholecT45 ist die erste öffentliche Veröffentlichung von 45 Videos des CholecT50-Datensatzes. Zudem entwickeln wir eine Metrikbibliothek, ivtmetrics, für die Modellbewertung auf chirurgischen Tripeln. Darüber hinaus führen wir eine Benchmark-Studie durch, indem wir Baseline-Methoden in den am häufigsten verwendeten tiefen Lernframeworks (PyTorch und TensorFlow) reproduzieren, um diese mithilfe der vorgeschlagenen Datenpartitionierungen und Metriken zu bewerten und sie öffentlich zur Verfügung stellen, um zukünftige Forschung zu unterstützen. Die vorgeschlagenen Datenpartitionierungen und Evaluationsmetriken werden es ermöglichen, den globalen Fortschritt der Forschung auf dem Datensatz nachzuverfolgen und optimale Modellauswahl für weitere Anwendungsfälle zu erleichtern.