Apprentissage d'une représentation enrichie de sémantique par auto-découverte, auto-classification et auto-restauration

Les images médicales sont naturellement associées à une sémantique riche concernant l'anatomie humaine, reflétée par une abondance de motifs anatomiques récurrents, offrant un potentiel unique pour favoriser l'apprentissage de représentations sémantiques profondes et produire des modèles plus puissants sur le plan sémantique pour diverses applications médicales. Cependant, la façon dont ces sémantiques fortes mais libres intégrées aux images médicales peuvent être exploitées pour l'apprentissage auto-supervisé reste largement inexplorée. À cette fin, nous formons des modèles profonds pour apprendre une représentation visuelle enrichie sémantiquement par l'auto-découverte, l'auto-classification et l'auto-restauration de l'anatomie sous-jacente aux images médicales, aboutissant à un modèle pré-entraîné 3D d'usage général, nommé Semantic Genesis (Sémantique Génèse). Nous évaluons notre Semantic Genesis en comparaison avec tous les modèles pré-entraînés publiquement disponibles, qu'ils soient formés par auto-supervision ou supervision complète, sur six tâches cibles distinctes, couvrant à la fois la classification et la segmentation dans différentes modalités médicales (c'est-à-dire IRM, TDM et radiographie). Nos expériences approfondies montrent que Semantic Genesis dépasse considérablement tous ses homologues 3D ainsi que le transfert d'apprentissage basé sur ImageNet en 2D. Cette performance est attribuée à notre cadre novateur d'apprentissage auto-supervisé, qui encourage les modèles profonds à apprendre des représentations sémantiques convaincantes à partir des motifs anatomiques abondants résultant des anatomies cohérentes intégrées aux images médicales. Le code source et le modèle pré-entraîné Semantic Genesis sont disponibles sur https://github.com/JLiangLab/SemanticGenesis .