为在内存受限的边缘设备如 NVIDIA Jetson 上运行大参数 AI 模型，开发者需从软件栈的五个层面进行系统性优化。边缘计算面临物理内存稀缺与功耗限制的双重挑战，高效管理内存是确保系统稳定、降低延迟并提升性能的关键。 优化首先从底层硬件支持包（BSP）和 JetPack 开始。通过禁用未使用的显示、相机等服务或重新配置保留内存区域（Carveout），可显著释放 DRAM。同时，利用硬件 IOMMU 替代冗余的 SWIOTLB 缓冲区，并在用户空间移除不必要的图形界面和后台服务，能进一步减少 CPU 与 GPU 的内存占用。 在推理层面，采用如 DeepStream 的高性能管道，关闭非必要的可视化组件（如 Tiler 和 OSD），可大幅降低数据流开销。针对大语言模型，使用 vLLM、SGLang 等优化框架，通过连续批处理和 KV 缓存管理提升吞吐率。模型量化是节约内存的核心手段，将模型权重从 FP16 降至 INT4、FP8 甚至 NVFP4，可在保持精度的同时减少高达 75% 的存储与带宽需求。 NVIDIA 非 GPU 加速器如 PVA 也可分担特定视觉任务，释放 GPU 资源。综合上述策略，开发者在 Jetson Orin Nano 等平台上可实现 10 至 12 GB 的内存节省。例如，Reachy Mini 机器人通过全栈优化，在仅 8 GB 内存的 Jetson Orin Nano 上成功运行了量化后的视觉 - 语言模型及语音处理管道，无需云端依赖。这一系列优化使得在边缘端部署高达百亿参数级的模型成为可能，推动生成式 AI 真正落地于物理世界。