近日，一篇新论文介绍了名为 PyVision 的 Python 为中心的框架，该框架让人工智能在思考过程中自行编写工具。该框架由上海人工智能实验室、莱斯大学、香港中文大学、新加坡国立大学和 SII 研究团队联合开发，旨在解决视觉推理任务中的关键问题。 视觉推理要求 AI 模型不仅识别图像，还需进行逻辑分析、抽象思考和上下文推理，广泛应用于医疗诊断、视觉数学、符号谜题和图像问答等场景。然而，现有模型大多依赖固定工具集和单次处理流程，缺乏灵活性，难以应对新问题或构建新工具，限制了其在需要多次推理和迭代任务中的表现。 PyVision 通过让模型在任务中动态生成和执行 Python 工具，突破了这一限制。它不依赖预设模块，而是基于用户输入和视觉数据，生成代码并在隔离环境中执行，再根据反馈不断调整和优化策略。该框架支持多轮推理，能保持变量状态，提升模型的连续分析能力。同时，它整合了 OpenCV、NumPy 和 Pillow 等库，实现图像分割、OCR、增强和统计分析等功能。 测试结果显示，PyVision 显著提升了多个模型的性能。例如，GPT-4.1 在视觉搜索任务 V* 上准确率从 68.1% 提升至 75.9%，Claude-4.0-Sonnet 在符号推理任务 VLMsAreBlind-mini 上从 48.1% 提升至 79.2%。该框架增强了基础模型的能力，而非替代它们。 业内人士认为，PyVision 代表了视觉推理领域的重要进展，标志着 AI 从静态工具向自主生成与推理系统迈出关键一步，为应对复杂现实视觉任务提供了新思路。