可迁移的视觉词：利用解剖学模式语义实现自监督学习

本文提出了一种名为“可迁移视觉词”（Transferable Visual Words, TransVW）的新概念，旨在提升深度学习在医学图像分析中的标注效率。医学影像通常针对人体特定部位，服务于特定临床目的，其图像在解剖结构上具有高度相似性，并呈现出复杂的解剖模式，这些模式蕴含着丰富的关于人体解剖结构的语义信息，天然构成了“视觉词”（visual words）。本文证明，这些视觉词可通过基于解剖一致性的自发现机制实现自动提取；同时，所发现的视觉词可作为强而自由的监督信号，驱动深度模型通过自监督学习（包括自分类与自重建）学习语义丰富的通用图像表征。大量实验表明，在多个应用场景中，TransVW 能在显著降低标注成本的前提下，实现更高的模型性能与更快的收敛速度，充分体现出其标注效率优势。TransVW 具备以下几项重要优势：（1）完全自学习（autodidactic）：该方法利用视觉词的语义信息实现自监督学习，无需专家标注；（2）视觉词学习为可插拔式策略，可与现有自监督方法无缝融合，有效提升其性能；（3）所学习的图像表征具有丰富的语义信息，已被证明具备更强的鲁棒性与泛化能力，通过迁移学习可显著减少多种应用场景下的标注工作量。本文的代码、预训练模型及精选视觉词数据集已开源，访问地址为：https://github.com/JLiangLab/TransVW。