新型AI语言-视觉模型赋能交通视频分析,显著提升道路安全
纽约市拥有数千个交通摄像头,每天产生海量视频数据,但传统上人工分析这些影像以发现安全隐患,成本高且效率低。如今,纽约大学坦登工程学院的研究团队开发出一种新型人工智能系统——SeeUnsafe,通过融合语言推理与视觉智能,可自动识别交通视频中的碰撞和险情事件,有望显著提升城市道路安全管理水平,且无需额外投入大量新设备。 该研究发表于《事故分析与预防》期刊,并荣获纽约市“零死亡愿景”研究奖,表彰其在推动城市交通安全方面的实际价值。项目由教授Kaan Ozbay领衔,他在第八届“道路研究”研讨会上介绍了该成果。系统融合了纽约大学机器人与具身智能中心与C2SMART交通安全研究中心的跨学科合作,旨在利用现有摄像头资源,实现高效、智能的安全监测。 SeeUnsafe基于多模态大语言模型,能同时理解图像与文本信息,是该技术在长时交通视频分析中的首次应用。系统可自动定位事故与险情发生的时间与地点,帮助交通部门精准识别高风险路口和危险路况,实现从“事后应对”向“事前预防”的转变。相比传统方法,它无需机构自行收集和标注数据,普通交通管理人员也能轻松使用。 在丰田Woven交通安全数据集上的测试显示,SeeUnsafe对碰撞、险情和正常交通的分类准确率达76.71%,对涉事交通参与者的识别准确率最高达87.5%。系统还能生成自然语言报告,说明事故原因,如天气、车流量、具体违规行为等,便于决策者理解。 尽管系统在低光照或目标跟踪不准确时存在局限,但其为AI理解复杂交通场景提供了新路径。研究人员表示,该技术未来可拓展至车载行车记录仪,实现驾驶视角的实时风险评估。目前,C2SMART中心正推进多项城市交通优化项目,包括电动重卡对道路的冲击研究、测速摄像头对驾驶行为的影响分析、消防应急响应“数字孪生”系统,以及对布鲁克林-皇后区高速公路超载车辆的长期监测。
