2ヶ月前
逆知識蒸留:限定データでの網膜画像マッチングに向けた小規模モデルを使用した大規模モデルの学習
Nasser, Sahar Almahfouz ; Gupte, Nihar ; Sethi, Amit

要約
網膜画像のマッチングは、疾患の進行と治療反応のモニタリングにおいて重要な役割を果たします。しかし、時間的に隔たれた画像ペア間で一致する特徴点を持つデータセットは、トランスフォーマーに基づくモデルの学習に十分な量が利用可能ではありません。本研究では、限られたデータで大規模なモデルを学習させつつ過学習を防ぐため、逆知識蒸留(Reverse Knowledge Distillation)に基づく新しい手法を提案します。まず、公開データセットでの結果を向上させるために、CNNベースの半教師あり手法であるSuperRetinaに構造的な改良を加えます。次に、軽量なCNNベースのモデルを使用して、計算負荷が高いビジョントランスフォーマーエンコーダーに基づくモデルを学習させます。これは、通常は重いモデルから軽いモデルへの知識蒸留が行われる知識蒸留研究分野において非直感的です。驚くことに、このような逆知識蒸留により一般化性能がさらに向上します。我々の実験結果は、表現空間における高次元適合が最終出力への直接適合とは異なり過学習を防止する可能性があることを示唆しています。また、網膜画像の特徴点検出とマッチング用の注釈付き公開データセットも提供し、研究コミュニティが網膜画像アプリケーション向けアルゴリズムを開発するのに役立てるよう支援します。