近年来，Wi-Fi感知技术因其诸多优势（如隐私保护、低成本和穿透能力）而受到广泛关注。该领域的研究已广泛开展，主要集中在手势识别、人员识别和跌倒检测等方面。然而，许多数据驱动的方法在域迁移问题上遇到了挑战，即模型在不同于训练数据的环境中表现不佳。导致这一问题的一个重要因素是Wi-Fi感知数据集的有限可用性，这使得模型学习了过多无关信息并过度拟合到训练集。不幸的是，在多种场景下收集大规模Wi-Fi感知数据集是一项具有挑战性的任务。为了解决这一问题，我们提出了一种基于孪生网络的方法——CrossFi，该方法在域内场景和跨域场景中均表现出色，包括少样本、零样本场景，甚至在测试集中包含新类别的少样本新类别场景中也能正常工作。CrossFi的核心组件是一个称为CSi-Net的样本相似度计算网络，通过引入注意力机制来捕捉相似性信息，而不是简单地计算距离或余弦相似度，从而改进了孪生网络的结构。在此基础上，我们开发了一个额外的Weight-Net模块，可以为每个类别生成一个模板，从而使我们的CrossFi能够在不同场景中运行。实验结果表明，我们的CrossFi在各种场景中均达到了最先进的性能。在手势识别任务中，CrossFi在域内场景中的准确率为98.17%，在一个样本跨域场景中的准确率为91.72%，在零样本跨域场景中的准确率为64.81%，在一个样本新类别场景中的准确率为84.75%。我们模型的代码已公开发布于https://github.com/RS2002/CrossFi。