知識蒸留を用いた小規模組織病理学データセットに対するビジョン変換器

コンピュータ病理学（CPATH）システムは、診断タスクの自動化に大きな可能性を秘めている。しかし、デジタル化された組織学的ガラススライド（通称：Whole Slide Images: WSIs）に含まれるアーティファクトは、CPATHシステム全体の性能を低下させる要因となることがある。ディープラーニング（DL）モデルであるビジョントランスフォーマー（ViTs）は、診断アルゴリズムを実行する前にアーティファクトを検出し、除外することが可能である。性能が高く汎化性の高いViTを構築する簡単な手法として、大規模なデータセット上で学習を実施する方法がある。しかし、大規模な医療データセットの収集は費用がかかり、実用的にも困難であるため、WSIsにおける汎用的なアーティファクト検出手法の開発が急務となっている。本研究では、気泡検出タスクにおけるViTの分類性能を向上させるため、学生-教師（student-teacher）フレームワークに基づく学習手法を提案する。このフレームワーク下で訓練されたViTは、高容量の教師モデルから既存の知識を蒸留（knowledge distillation）することで、性能を向上させる。本研究で得られた最良のViTは、F1スコア0.961、MCC（マルチクラス相関係数）0.911を達成し、単独学習（stand-alone training）と比較してMCCで7%の向上を実現した。本手法は、転移学習に代わる新たなアプローチとして、知識蒸留を活用する意義を示し、CPATHシステムにおける効率的な前処理パイプラインに向けたカスタマイズされたトランスフォーマーの活用を促進するものである。