自己発見、自己分類、および自己復元を用いた意味論的に豊富な表現の学習

医療画像は、人体解剖学に関する豊かな意味論を自然に持っています。これは、頻繁に繰り返される解剖パターンの多さに表れており、深層意味表現学習を促進し、異なる医療アプリケーション向けに意味的により強力なモデルを生成する可能性を秘めています。しかし、医療画像に埋め込まれた自由でありながら強力な意味論が自己監督学習でどのように活用できるかについては、まだ十分に研究されていません。この目的のために、私たちは深層モデルを訓練して、医療画像の下にある解剖構造の自己発見、自己分類、自己復元によって意味的に豊かな視覚表現を学ばせました。その結果、セマンティック・ジェネシスと名付けられた、意味的に豊かで汎用的な事前学習済み3Dモデルが得られました。私たちはセマンティック・ジェネシスを公開されているすべての事前学習済みモデル（自己監督または完全監督）と比較し、6つの異なるターゲットタスク（CT, MRI, X線などの様々な医療モダリティにおける分類とセグメンテーション）で評価しました。広範な実験により、セマンティック・ジェネシスが3Dモデルの全ての対応物および事実上の2DでのImageNetベースの転移学習を超えることが示されました。この性能は、一貫した解剖構造が埋め込まれた医療画像から豊富な解剖パターンを学ぶことを促す新しい自己監督学習フレームワークによるものです。コードと事前学習済みのセマンティック・ジェネシスは https://github.com/JLiangLab/SemanticGenesis で利用可能です。