Vergleichende Validierung von Machine-Learning-Algorithmen zur chirurgischen Workflows- und Fähigkeitsanalyse mit der HeiChole-Benchmark

ZWECK: Die Analyse von chirurgischen Arbeitsabläufen und chirurgischen Fähigkeiten stellt eine Schlüsseltechnologie für kognitive chirurgische Assistenzsysteme der nächsten Generation dar. Solche Systeme könnten die Operationsicherheit durch kontextsensitive Warnungen und semi-autonome roboterunterstützte Hilfen erhöhen oder die Ausbildung von Chirurgen durch datengestützte Rückmeldungen verbessern. Bei der Analyse chirurgischer Arbeitsabläufe wurden bisher bis zu 91 % durchschnittliche Genauigkeit für die Phasenerkennung auf einem offenen, einzentrischen Datensatz berichtet. In dieser Arbeit untersuchten wir die Verallgemeinerbarkeit von Phasenerkennungsalgorithmen in einem mehrzentrischen Umfeld, wobei auch anspruchsvollere Erkennungsaufgaben wie die Identifikation chirurgischer Aktionen und die Bewertung chirurgischer Fähigkeiten berücksichtigt wurden.METHODEN: Um dieses Ziel zu erreichen, wurde ein Datensatz mit 33 laparoskopischen Cholezystektomie-Videos aus drei chirurgischen Zentren erstellt, mit einer Gesamtdauer von insgesamt 22 Stunden. Die Annotationen umfassten die Markierung von sieben chirurgischen Phasen mit 250 Phasenübergängen, 5514 Vorkommen von vier chirurgischen Aktionen, 6980 Vorkommen von 21 chirurgischen Instrumenten aus sieben Instrumentenkategorien sowie 495 Klassifikationen von Fähigkeiten in fünf Dimensionen. Der Datensatz wurde im Rahmen der 2019er Endoskopischen Vision-Challenge, Sub-Challenge für chirurgische Arbeitsablauf- und Fähigkeitsanalyse, eingesetzt. In dieser Herausforderung reichten 12 Teams ihre maschinellen Lernalgorithmen zur Erkennung von Phasen, Aktionen, Instrumenten und/oder zur Fähigkeitsbewertung ein.ERGEBNISSE: Für die Phasenerkennung wurden F1-Scores zwischen 23,9 % und 67,7 % (n=9 Teams) erzielt, für die Erkennung von Instrumentenpräsenz zwischen 38,5 % und 63,8 % (n=8 Teams), jedoch nur zwischen 21,8 % und 23,3 % für die Aktionserkennung (n=5 Teams). Der durchschnittliche absolute Fehler bei der Fähigkeitsbewertung betrug 0,78 (n=1 Team).SCHLUSSFOLGERUNG: Die Analyse chirurgischer Arbeitsabläufe und Fähigkeiten ist ein vielversprechender Ansatz zur Unterstützung des chirurgischen Teams, ist jedoch weiterhin nicht gelöst, wie unsere Vergleichsanalyse der Algorithmen zeigt. Der vorliegende, neuartige Benchmark kann für eine vergleichbare Evaluation und Validierung zukünftiger Forschungsarbeiten genutzt werden.