最近推出的Segment Anything模型（SAM）结合了巧妙的架构和大量的训练数据，从而获得了显著的图像分割能力。然而，该模型在处理分布外（OOD）领域的图像时，如医学图像，无法重现相同的效果。此外，尽管SAM可以通过掩码或一组点进行条件化，但有时可能需要一个完全自动化的解决方案。在这项工作中，我们用一个在同一输入图像上操作的编码器替换了SAM的条件化机制。通过添加这一编码器并在不进一步微调SAM的情况下，我们在多个医学图像和视频基准测试中取得了最先进的结果。这个新的编码器是通过冻结的SAM提供的梯度进行训练的。为了检查其内部知识并提供一种轻量级的分割解决方案，我们还学习了通过浅层反卷积网络将其解码为掩码的方法。