Réseau d’apprentissage par instances multiples à flux dual pour la classification d’images de lame entière avec apprentissage contrastif auto-supervisé

Nous abordons le problème difficile de la classification des images de diapositives entières (WSI). Les WSI présentent des résolutions très élevées et manquent généralement d’étiquettes localisées. La classification des WSI peut être formulée comme un problème d’apprentissage par instances multiples (MIL) lorsque seules des étiquettes au niveau de la diapositive sont disponibles. Nous proposons une méthode basée sur le MIL pour la classification des WSI et la détection de tumeurs, qui ne nécessite pas d’étiquettes localisées. Notre méthode comporte trois composants principaux. Premièrement, nous introduisons un nouvel agrégateur MIL qui modélise les relations entre les instances dans une architecture à deux flux, avec une mesure de distance ajustable. Deuxièmement, vu que les WSI peuvent générer des paquets volumineux ou déséquilibrés, ce qui entrave l’entraînement des modèles MIL, nous proposons d’utiliser un apprentissage contrastif auto-supervisé pour extraire de bonnes représentations pour le MIL et atténuer le problème du coût mémoire prohibitif lié aux grands paquets. Troisièmement, nous adoptons un mécanisme de fusion pyramidal pour les caractéristiques multiscales des WSI, ce qui améliore davantage la précision de la classification et de la localisation. Notre modèle est évalué sur deux jeux de données représentatifs de WSI. La précision de classification de notre modèle se compare avantageusement aux méthodes entièrement supervisées, avec un écart de précision inférieur à 2 % entre les jeux de données. Nos résultats surpassent également tous les méthodes MIL antérieures. Des résultats supplémentaires sur des jeux de données standards de MIL démontrent également la supériorité de notre agrégateur MIL dans des problèmes MIL généraux. Dépôt GitHub : https://github.com/binli123/dsmil-wsi