深度学习与计算机视觉的最新进展已显著降低了自动化医学图像分析的技术门槛，使算法能够处理无标签图像并提升性能。然而，现有技术普遍面临极高的计算资源需求，且在减小批量大小（batch size）或训练轮次（training epochs）时性能急剧下降。本文提出一种新型自监督学习方法——跨架构自监督学习（Cross Architectural Self-Supervision, CASS），该方法同时利用Transformer与卷积神经网络（CNN）的互补优势。实验结果表明，在四个不同数据集上，相较于当前最先进的自监督学习方法，CASS训练的CNN与Transformer模型在仅使用1%标注数据时平均提升3.8%，使用10%标注数据时提升5.9%，在使用100%标注数据时提升达10.13%，同时训练时间减少69%。此外，CASS对批量大小和训练轮次的变化表现出更强的鲁棒性。值得注意的是，其中一个测试数据集包含自身免疫性疾病患者的组织病理学切片，该疾病因数据稀缺而在医学影像研究中长期被低估。相关代码已开源，可于GitHub获取。