近年来，大规模预训练技术的进展显著提升了视觉基础模型的能力，其中最具代表性的便是通用图像分割模型（Segment Anything Model, SAM），该模型能够基于点提示（point prompts）或框提示（box prompts）生成高精度的分割掩码。近期研究将SAM扩展至少样本语义分割（Few-shot Semantic Segmentation, FSS）任务，重点聚焦于面向SAM的自动语义分割中的提示生成问题。然而，现有方法在提示选择方面存在困难，需针对不同场景设定特定超参数，且由于过度依赖SAM进行推理，导致单样本（one-shot）推理时间过长，整体效率低下，自动化能力受限。为解决上述问题，本文提出一种基于图分析的简洁而高效的方法。具体而言，首先引入正负样本对齐模块（Positive-Negative Alignment module），动态选择用于生成掩码的点提示，尤其挖掘背景上下文作为负样本参考的潜在价值，从而提升提示质量。随后，设计点-掩码聚类模块（Point-Mask Clustering module），将掩码与所选点之间的对应关系建模为有向图，依据掩码对点的覆盖程度进行粒度对齐。在此基础上，通过高效分解有向图中的弱连通分量，实现点的聚合，进而构建出具有自然语义结构的独立聚类。最终，借助基于图结构的粒度对齐优势，引入正样本与过拟合门控机制（positive and overshooting gating），聚合高置信度掩码并有效过滤误检掩码，完成最终预测。该设计显著减少了对外部超参数的依赖，避免了冗余掩码的生成，提升了方法的自动化水平与运行效率。在标准少样本语义分割（FSS）、单样本部件分割（One-shot Part Segmentation）以及跨域少样本语义分割（Cross-Domain FSS）等多个基准数据集上的大量实验验证了所提方法的有效性与高效性。在COCO-20i和LVIS-92i数据集上，该方法分别取得了58.7%和35.2%的mIoU，超越了当前最先进的通用模型。相关代码已开源，访问地址为：https://andyzaq.github.io/GF-SAM/。