Meta 人工智能研究团队（FAIR）近期公布了五项重要的人工智能感知技术突破，涉及从视觉理解到3D空间感知，再到协作式推理框架的多个方面。这些开源项目旨在推动高级机器智能（AMI）的发展，为未来的AI系统赋予更强大的感知能力。 首先是Meta感知编码器，一种先进的大规模视觉编码器，能够在各种复杂的环境中高效处理图像和视频，同时连接视觉与语言。该编码器不仅能够识别广泛的视觉概念，还能捕捉细微的差别，如在夜景中识别野生动物。它的表现超越了所有现有的开源和专有模型，在零样本分类和检索任务中显示出卓越的能力，并且在图像和视频问答、文档理解等任务上也表现突出。 接下来是感知语言模型（PLM），这是一个专为复杂视觉识别任务设计的视觉-语言模型。研究团队使用大规模合成数据和开放视觉数据集进行训练，不依赖于外部模型的蒸馏。他们还创建了250万个人工标注的视频问答和时空标题样本，形成了目前同类数据集中规模最大的资源。PLM提供了10亿、30亿和80亿参数的版本，支持透明的学术研究，并推出了一项新的基准测试 PLM-VideoBench，专注于细粒度活动理解和时空定位推理，这些任务在现有基准测试中较少被关注。 Meta Locate3D 是一种能够精准定位开放词汇查询物体的端到端模型，主要用于支持机器人系统。该模型直接处理来自RGB-D传感器的3D点云数据，能够在接收自然语言指令时考虑空间关系和上下文，从而识别并精确定位特定物体。为了训练这个模型，研究团队发布了一个包含13万个语言标注的数据集，覆盖了1,346个场景，这一数据量比现有数据集增加了近一倍。Meta Locate3D 支持更复杂和高效的机器人系统开发，是智能自主机器领域的一项重要进展。 动态字节潜在变换器（Dynamic Byte Latent Transformer）则重新定义了语言模型的效率与鲁棒性。这种字节级语言模型架构实现了与传统基于分词的语言模型相当的大规模性能，同时大幅提升了推理效率和鲁棒性。在扰动 HellaSwag 任务中，该模型相比其他模型平均提高了7个百分点的鲁棒性，在 CUTE 令牌理解基准任务中的优势更是高达55个百分点。这意味着它有可能成为传统分词方法的有效替代方案。 最后，协作推理器（Collaborative Reasoner）框架评估和提高大型语言模型的协作推理技能，模拟人类合作解决问题的方式。该框架包含一系列目标导向的任务，需要两个智能体通过多轮对话完成多步推理。例如，在数学和社会推理任务中，协作推理器的性能比单一智能体的思维链表现提高了高达29.4%。Meta 还开发了一个强大的模型服务引擎 Matrix，用于大规模生成合成交互数据，进一步提升语言模型的协作能力。 通过这些开源项目的发布，Meta FAIR 团队旨在为研究社区提供便利，促进 AI 开放生态系统的建设，加速技术进步和创新。随着这些技术的不断发展和应用，未来的 AI 系统将具备更强的视觉理解、更精准的3D空间感知以及更自然的协作互动能力，为人机协作和智能化应用带来新的可能。