创新视觉技术赋予机器人自我认知能力

在麻省理工学院计算机科学与人工智能实验室（CSAIL），一个柔软的机械手通过一个摄像头观察自身动作，自主学习如何抓取物体。这标志着一种全新的机器人控制方式——Neural Jacobian Fields（NJF）系统，它让机器人通过视觉理解自身的形态和运动方式，无需复杂的传感器或预设模型。 该系统由CSAIL团队研发，核心是一个神经网络，能同时学习机器人的三维结构和对控制指令的响应。它基于神经辐射场（NeRF）技术，但进一步扩展，不仅能重建机器人外形，还能预测每个部位在动作下的变化。训练时，机器人随机运动，摄像头记录其动作，系统通过观察自动建立控制模型，无需人工干预或事先了解机器人结构。 测试显示，NJF在多种机器人上均表现出色，包括柔软的气动手、刚性机械手、3D打印机械臂，甚至一个没有传感器的旋转平台。训练完成后，只需一个摄像头即可实现实时控制，速度约为每秒12帧，适用于软体机器人等传统方法难以处理的场景。 研究人员认为，这一技术将降低机器人开发门槛，使更多人能使用低成本、灵活的机器人，例如在农田中精准作业，或在建筑工地自主操作，而无需昂贵的传感器系统。未来，普通人甚至可用手机拍摄机器人随机动作，即可训练其控制模型。 尽管目前NJF仍需多摄像头并针对每个机器人重新训练，研究团队正探索优化方法，提升其泛化能力，应对遮挡和复杂任务。他们希望机器人能像人类一样，通过观察和实践形成对自身运动的直观理解，推动机器人技术从编程转向自主学习。