Bericht zur Herausforderung der Anerkennung von PEg-Transfer-Workflows: Verbessert multimodale Daten die Anerkennung?

Dieses Papier stellt das Design und die Ergebnisse der "PEg TRAnsfert Workflow recognition" (PETRAW)-Herausforderung vor, deren Ziel es war, Methoden zur Erkennung chirurgischer Workflows auf Basis einer oder mehrerer Modalitäten zu entwickeln, darunter Video-, Kinematik- und Segmentierungsdaten, um deren zusätzlichen Wert zu untersuchen. Die PETRAW-Herausforderung stellte ein Datensatz von 150 Peg-Transfer-Sequenzen bereit, die auf einem virtuellen Simulator durchgeführt wurden. Dieser Datensatz bestand aus Videos, Kinematikdaten, semantischer Segmentierung und Workflow-Annotierungen, die die Sequenzen auf drei unterschiedlichen Granularitätsebenen beschrieben: Phase, Schritt und Aktivität. Fünf Aufgaben wurden den Teilnehmern vorgeschlagen: Drei davon befassten sich mit der Erkennung aller Granularitätsebenen mithilfe einer der verfügbaren Modalitäten, während die anderen Aufgaben die Erkennung mit einer Kombination von Modalitäten ansprachen. Sieben Teams nahmen an mindestens einer Aufgabe teil und vier von ihnen an allen Aufgaben. Die besten Ergebnisse wurden erzielt, indem sowohl Videodaten als auch Kinematikdaten verwendet wurden, wobei die durchschnittliche anwendungsabhängige balancierte Genauigkeit (AD-Genauigkeit) zwischen 93 % und 90 % für die vier Teams lag, die an allen Aufgaben teilnahmen. Der Verbesserungsvorteil zwischen den Video/Kinematik-basierten Methoden und den unimodalen Methoden war für alle Teams signifikant. Allerdings muss der Unterschied in der Ausführungszeit bei der Testphase berücksichtigt werden. Ist es sinnvoll, bis zu 20 bis 200 Mal mehr Rechenzeit aufzuwenden, um eine Verbesserung von weniger als 3 % zu erzielen? Der PETRAW-Datensatz ist öffentlich zugänglich unter www.synapse.org/PETRAW, um weitere Forschungen zur Erkennung chirurgischer Workflows zu fördern.