KDAS: Wissensdistillierung durch Aufmerksamkeitsüberwachung für Polypensegmentierung

Die Polypensegmentierung, ein umstrittenes Thema im medizinischen Bildverarbeitungsbereich, hat zahlreiche vorgeschlagene Methoden gesehen, die darauf abzielen, die Qualität der segmentierten Masken zu verbessern. Obwohl aktuelle Stand-der-Technik-Verfahren beeindruckende Ergebnisse erzielen, stellen die Größe und der Rechenaufwand dieser Modelle Herausforderungen für praktische Anwendungen in der Industrie dar. Um dieser Herausforderung zu begegnen, präsentieren wir KDAS, einen Wissensdistillationsrahmen (Knowledge Distillation framework), der Aufmerksamkeitsüberwachung (attention supervision) integriert, sowie unser vorgeschlagenes symmetrisches Leitungsmodul (Symmetrical Guiding Module). Dieser Rahmen ist so konzipiert, dass er ein kompaktes Schülernetzwerk mit weniger Parametern ermöglicht, wodurch es in der Lage ist, die Stärken des Lehrernetzwerks zu lernen und die Inkonsistenz zwischen den Merkmalen des Lehrernetzwerks und denen des Schülernetzwerks – eine häufige Herausforderung bei Wissensdistillation – durch das symmetrische Leitungsmodul zu reduzieren. Durch umfangreiche Experimente zeigen unsere kompakten Modelle ihre Stärke, indem sie wettbewerbsfähige Ergebnisse mit den aktuellen Stand-der-Technik-Verfahren erzielen. Dies bietet einen vielversprechenden Ansatz zur Erstellung von kompakten Modellen mit hoher Genauigkeit für die Polypensegmentierung und im Bereich der medizinischen Bildverarbeitung. Die Implementierung ist unter https://github.com/huyquoctrinh/KDAS verfügbar.