NVIDIA最新发布的视频搜索与摘要（VSS）蓝图2.4版本，将计算机视觉（CV）管道与生成式AI及推理能力深度融合，推动视频分析从简单的对象检测迈向对物理世界的深度理解。该版本是NVIDIA Metropolis生态的重要组成部分，支持实时与存储视频的智能分析，适用于制造、物流、零售和交通等多个行业。 新版本带来四大核心升级：一是集成NVIDIA Cosmos Reason——一款70亿参数的先进视觉语言模型（VLM），具备物理世界推理与常识理解能力，可实现对视频内容的精准描述、对象识别与根因分析，尤其适合边缘与云端部署。其小模型尺寸与可定制性使其易于训练和集成。 二是增强问答（Q&A）功能，引入知识图谱与跨摄像头支持。VSS 2.4通过GPU加速的视频分块处理，结合VLM生成丰富描述，再由大语言模型（LLM）构建知识图谱。新增的图谱去重与合并机制，能将同一物体（如车辆）在不同摄像头间的记录统一为一个实体，显著提升跨视角理解能力。同时引入基于代理（agentic）的推理机制，LLM可自动拆解问题、调用工具、检索视频帧并迭代优化答案，大幅提高准确性。测试显示，VSS 2.4在LongVideoBench和MLVU基准上分别提升16.16%和10.20%。 三是新增“事件审查器”（Event Reviewer）功能，专为边缘部署设计。该模块作为CV管道的智能插件，仅在检测到关键事件（如碰撞）时调用VLM进行分析，避免持续高算力消耗。通过轻量级检测（如GroundingDINO）筛选出视频片段，再由VLM快速回答预设的yes/no问题，生成低延迟警报，并支持后续追问，实现高效、低成本的智能监控。 四是扩展硬件支持，全面兼容NVIDIA Blackwell架构平台，包括Jetson Thor（边缘）、RTX Pro 6000工作站/服务器版以及即将推出的DGX Spark，支持从边缘到数据中心的灵活部署。 开发者可通过NVIDIA Brev一键部署VSS，使用Jupyter笔记本快速上手Web界面与REST API。完整技术文档与参考代码可在GitHub获取。该版本标志着视觉AI正迈向“感知—理解—推理—决策”一体化的智能代理时代，为构建真正具备认知能力的视觉系统提供了强大工具。