Models Genesis: Generische autodidaktische Modelle für die 3D-Bildanalyse in der Medizin

Das Transferlernen von natürlichen Bildern zu medizinischen Bildern hat sich als eines der praktischsten Paradigmen im tiefen Lernen für die Analyse medizinischer Bilder etabliert. Allerdings muss, um dieses Paradigma anzuwenden, 3D-Bildgebungsaufgaben in den wichtigsten bildgebenden Verfahren (z. B. Computertomografie und Magnetresonanztomografie) in 2D umformuliert und gelöst werden, wodurch reichhaltige 3D-anatomische Informationen verloren gehen und die Leistung unvermeidlich beeinträchtigt wird. Um diese Einschränkung zu überwinden, haben wir eine Reihe von Modellen entwickelt, die als generische autodidaktische Modelle bezeichnet werden und den Spitznamen "Models Genesis" tragen, da sie ex nihilo (ohne manuelles Labeling) erstellt, durch Selbstüberwachung gelernt und generisch (als Quellmodelle zur Erstellung anwendungsbezogener Zielmodelle) sind. Unsere umfangreichen Experimente zeigen, dass unsere "Models Genesis" in allen fünf Zielanwendungen im 3D-Bereich, sowohl bei Segmentierung als auch bei Klassifizierung, erheblich besser abschneiden als das Lernen von Grund auf. Noch wichtiger ist jedoch, dass das einfache Lernen eines Modells in 3D nicht notwendigerweise eine bessere Leistung als das Transferlernen von ImageNet in 2D ergibt, aber unsere "Models Genesis" konsistent jede 2D-Ansatz übertreffen, einschließlich des Feinjustierens von Modellen, die aus ImageNet vortrainiert wurden sowie des Feinjustierens der 2D-Versionen unserer "Models Genesis". Dies bestätigt die Bedeutung der 3D-anatomischen Informationen und die Relevanz unserer "Models Genesis" für die 3D-medizinische Bildgebung. Diese Leistung wird dem von uns entwickelten einheitlichen Framework für selbstüberwachtes Lernen zugeschrieben, das auf einer einfachen aber mächtigen Beobachtung basiert: Die komplexen aber wiederkehrenden Anatomien in medizinischen Bildern können starke Überwachungssignale für tiefgreifende Modelle sein, um durch Selbstüberwachung automatisch gemeinsame anatomische Darstellungen zu lernen. Im Sinne der Offenen Wissenschaft sind alle vortrainierten "Models Genesis" unter https://github.com/MrGiovanni/ModelsGenesis verfügbar.