基于合成数据的智能手机拍摄胸部X光图像的投影变换校正用于分类

基于智能手机拍摄的胸部X光片（CXR）图像进行病灶分类面临挑战，主要源于非理想相机位置所引起的投影变换（projective transformation）。近年来，针对文档图像、车牌图像等不同类型的图像矫正任务，已提出多种矫正方法。然而，我们发现现有方法均不适用于CXR图像，原因在于CXR图像具有特定的变换类型、图像外观特征以及标注方式等独特性质。本文提出一种创新的基于深度学习的投影变换矫正网络（Projective Transformation Rectification Network, PTRN），通过预测投影变换矩阵，实现对CXR图像的自动矫正。据我们所知，这是首个将预测投影变换矩阵作为学习目标的图像矫正工作。此外，为避免昂贵的真实数据采集成本，本文在考虑自然扰动、额外屏幕遮挡等因素的基础上，生成了合成CXR图像用于训练。我们在斯坦福大学机器学习小组主办的CheXphoto智能手机拍摄CXR图像分类竞赛中评估了所提方法，结果表明，该方法以显著的性能优势获得第一名（AUC：0.850，第二名：0.762）。深入分析表明，采用PTRN矫正后，对经过空间变换的CXR图像进行分类的性能可达到与高质量数字CXR图像相当的水平，证明PTRN能够有效消除投影变换对CXR图像带来的所有负面影响。