本文研究工业视觉中的零样本异常分类（Anomaly Classification, AC）与异常分割（Anomaly Segmentation, AS）任务。我们发现，未标注测试图像中隐含的正常与异常线索可被有效利用以进行异常判定，而这一潜力在以往方法中被忽视。我们的关键观察是：对于工业产品图像而言，正常图像块在其他未标注图像中通常能找到大量相似块，而异常图像块则仅有少数相似块。基于这一判别性特征，我们提出一种新颖的零样本AC/AS方法——互评机制（Mutual Scoring, MuSc），该方法无需任何训练过程或提示（prompt），仅依赖未标注测试图像之间的相互评估。具体而言，我们引入局部邻域多度聚合（Local Neighborhood Aggregation with Multiple Degrees, LNAMD）策略，提取能够表征不同尺度异常的图像块特征。随后，提出互评机制（Mutual Scoring Mechanism, MSM），利用未标注测试图像之间相互评分的方式，为每个图像块分配异常得分。此外，我们设计了一种名为“受限图像级邻域重评分”（Re-scoring with Constrained Image-level Neighborhood, RsCIN）的优化方法，用于图像级异常分类，以抑制由正常图像中噪声引起的误报。在具有挑战性的MVTec AD与VisA数据集上的实验结果表明，所提方法具有显著优越性。相较于当前最先进的零样本方法，MuSc在MVTec AD数据集上实现了21.1%的PRO指标绝对提升（从72.7%提升至93.8%），在VisA数据集上分别取得19.4%的像素级AP提升与14.7%的像素级AUROC提升。此外，我们的零样本方法性能超越了多数少样本方法，并可与部分一类学习（one-class）方法相媲美。代码已开源，地址为：https://github.com/xrli-U/MuSc。