18日前

動画を用いた多次元測定からの拡張マルチタスク学習を用いた疼痛評価

{Virginia R. de Sa, Jeannie S. Huang, Xiaojing Xu}
動画を用いた多次元測定からの拡張マルチタスク学習を用いた疼痛評価
要約

顔面表情からの自動疼痛検出に関する従来の研究は、特定の顔面筋活動に基づくフレーム単位の疼痛指標(例:PrkachinとSolomonの疼痛強度指標:PSPI)に主に焦点を当てていた。しかし、現在のゴールドスタンダードである疼痛指標は、患者が自己報告する視覚アナログスケール(VAS)であり、これは動画単位の測定値である。本研究では、動画から直接VASを予測するマルチタスク多次元疼痛モデルを提案する。本モデルは以下の3段階から構成される:(1)フレーム単位のPSPIを予測するように学習されたVGGFaceニューラルネットワークモデルを用い、マルチタスク学習を導入することで、個々の顔面行動単位(facial action units)とPSPIを同時に予測することで、PSPIの学習精度を向上させる;(2)フレーム単位のPSPI予測値からシーケンス単位の疼痛スコアを推定する全結合ニューラルネットワークを採用し、再びマルチタスク学習を用いてVAS単独ではなく、多次元疼痛スケールを同時に学習する;(3)多次元疼痛予測結果を最適な線形結合により統合し、最終的なVAS推定値を導出する。UNBC-McMaster肩関節疼痛データセットを用いた実験において、本手法は平均絶対誤差(MAE)1.95、クラス内相関係数(ICC)0.43という最先端の性能を達成した。これは、データセット提供時に提供された訓練済み人間観察者の予測性能には及ばないが、我々の予測値と人間観察者の予測値を平均することで、人間観察者のMAEを1.76から1.58まで改善できることを示した。UNBC-McMasterデータセットで学習し、別途得られた盲腸切除後の身体検査時の顔面動画データセットに対して、追加の訓練やファインチューニングなしに直接適用した結果、従来手法よりもAUC(ROC曲線下面積)において6%の性能向上を達成した。