Schmerzbewertung in Videos mittels erweiterter Multitask-Lernverfahren auf Basis multidimensionaler Messungen

Bisherige Arbeiten zur automatisierten Schmerzdetektion aus Gesichtsausdrücken haben sich hauptsächlich auf framebasierte Schmerzmetriken konzentriert, die auf spezifischen Aktivierungen facialer Muskelgruppen basieren, wie beispielsweise das Prkachin- und Solomon-Pain-Intensity-Modell (PSPI). Derzeit gilt jedoch die selbstberichtete visuelle Analogskala (VAS) des Patienten als Goldstandard-Metrik, die eine video-basierte Messung darstellt. In dieser Arbeit stellen wir ein mehrfach aufgabenbasiertes, multidimensionales Schmerzmodell vor, das direkt die VAS aus Videodaten vorhersagt. Unser Modell besteht aus drei Stufen: (1) Ein VGGFace-Neuronales Netzwerk, das auf die Vorhersage framebasierten PSPI trainiert wurde, wobei mehrfach aufgabenbasiertes Lernen angewendet wird, d. h., neben PSPI werden auch einzelne facialer Aktionsuniten (Facial Action Units) gleichzeitig vorhergesagt, um die Lernleistung für PSPI zu verbessern; (2) Ein vollständig verbundenes neuronales Netzwerk zur Schätzung sequenzbasiertes Schmerzscore aus framebasierten PSPI-Vorhersagen, wobei erneut mehrfach aufgabenbasiertes Lernen eingesetzt wird, um multidimensionale Schmerzskalen – statt lediglich VAS – zu lernen; und (3) Eine optimale lineare Kombination der multidimensionalen Schmerzvorhersagen, um eine endgültige Schätzung der VAS zu erzielen. Auf dem UNBC-McMaster Shoulder Pain-Datensatz zeigen wir, dass unsere mehrfach aufgabenbasierte, multidimensionale Schmerzmethodik einen Stand der Technik erreicht mit einem mittleren absoluten Fehler (MAE) von 1,95 und einem intraklasischen Korrelationskoeffizienten (ICC) von 0,43. Obwohl die Leistung weiterhin hinter den Vorhersagen eines geschulten menschlichen Beobachters liegt, der mit dem Datensatz bereitgestellt wurde, verbessert sich bei Durchschnittsbildung unserer Vorhersagen mit den menschlichen Schätzungen der MAE von 1,76 auf 1,58. Auf dem UNBC-McMaster-Datensatz trainiert und direkt ohne weitere Anpassung oder Feinabstimmung auf einem separaten Datensatz facialer Videos, die während postoperativer körperlicher Untersuchungen nach Appendektomie aufgezeichnet wurden, übertrifft unser Modell vorherige Ansätze um 6 % hinsichtlich der Area under the ROC curve (AUC).