CellViT：用于精确细胞分割与分类的视觉Transformer

在苏木精-伊红染色（H&E）组织图像中进行细胞核检测与分割是临床诊断中的重要任务，也是众多医学应用的基础。然而，由于染色差异、细胞核大小不一、边界重叠以及细胞核聚集等复杂因素，该任务极具挑战性。尽管卷积神经网络（CNN）在该领域已得到广泛应用，我们在此探索基于Transformer架构的网络在该任务中的潜力。为此，我们提出一种基于视觉Transformer（Vision Transformer, ViT）的深度学习方法——CellViT，用于数字化组织样本中细胞核的自动实例分割。CellViT在PanNuke数据集上进行训练与评估，该数据集是目前最具挑战性的细胞核实例分割数据集之一，包含来自19种组织类型的近20万枚标注细胞核，划分为5个具有临床意义的类别。我们通过利用近期发布的Segment Anything Model（SAM）以及在1.04亿张组织病理图像块上预训练的ViT编码器，充分挖掘大规模域内与域外预训练视觉Transformer的潜力，实现了在PanNuke数据集上的最先进性能：平均全景质量（mean panoptic quality）达到0.50，F1检测得分（F1-detection score）为0.83。相关代码已公开，可访问GitHub获取：https://github.com/TIO-IKIM/CellViT