百科

LeNet-5 是深度学习和卷积神经网络领域的开创性工作，它奠定了现代深度学习中许多关键概念的基础，如卷积层、池化层和全连接层。

资格问题主要关注的是如何在变化的环境中，确定一个动作或事件成功执行所需的所有条件或因素。

ReAct 提出了一种通用范式，将推理和行动的进步结合起来，使语言模型能够解决各种语言推理和决策任务。

Pre-training Once 一种的三分支自监督训练框架，通过引入弹性学生分支，在每次预训练步骤中随机采样子网络进行训练。

FlexAttention 是一种灵活的注意力机制，旨在提高高分辨率视觉语言模型的效率。

FlashAttention 是一种高效、内存友好型的注意力算法。

因果注意力（Causal Attention，简称 CATT）是一种创新性的注意力机制，它通过结合因果推断来提高模型的可解释性和性能，特别是在视觉-语言任务中。这种机制由南洋理工大学和澳大利亚莫纳什大学的研究人员在 20 […]

思维树概括了流行的思维链方法，以提示语言模型，并能够探索作为解决问题中间步骤的连贯文本单元 (思想) 。

MoMa 架构是一种新型的模态感知混合专家 (MoE) 架构，专为预训练混合模态、早期融合语言模型而设计。

多步误差最小化（全称 Multi-step Error Minimization，简称 MEM）中科院信工所、南洋理工大学、新加坡国立大学和中山大学于 2024 年在论文「Multimodal Unlearnable E […]

几何朗兰兹猜想 (Geometric Langlands Conjecture) 是朗兰兹纲领的几何化版本。

朗兰兹纲领是现代数学中一个极具影响力的研究领域，它涉及数论、代数几何和群表示论等多个数学分支，并试图揭示它们之间的深刻联系。

专用集成电路 (ASIC) 是一种根据特定用户要求和特定电子系统的需要而设计、制造的集成电路。

挂钟时间是一个用于衡量程序或进程运行时间的术语，指的是从程序开始执行到结束所花费的实际时间，包括了所有类型的等待和阻塞时间。

帕累托前沿 (Pareto Front) 是多目标优化中的一个关键概念，指的是一组在多个目标之间实现最佳权衡的解集合。

步长 (Stride) 是一个术语，通常用于图像处理和卷积神经网络 (CNN) 中。在图像处理的上下文中，步长指的是在对图像应用某些操作（如裁剪、特征提取或滤波）时，操作窗口在图像上移动的步数。 例如，在进行图像裁剪时， […]

动态提示 (Dynamic Prompts) 是一种提示技术，它允许在自然语言处理 (NLP) 和其他人工智能应用中，根据特定任务或实例动态调整提示词 (prompts）。这种技术可以显著提高模型的性能和适应性。 Dyn […]

Simple Online and Realtime Tracking（简称 SORT）是一种实用的多目标跟踪方法，专注于简单高效的算法，由昆士兰科技大学和悉尼大学的研究人员在 2016 年的 IEEE 国际图像处理会议 […]

优先经验回放 (Prioritized Experience Replay) 是一种用于强化学习的方法，它根据经验的重要性以不同的频率重放经验，从而提高学习效率。

CoT 技术通过将复杂问题分解为一系列逐步的子问题解答，引导模型生成详细的推理过程，从而提高模型在算术推理、常识推理和符号推理等复杂任务上的表现。

参数高效微调 (PERT) 是一种针对大型预训练模型的微调方法，它通过仅微调模型参数的一小部分来降低计算和存储成本，同时保持与全参数微调相媲美的性能。

在人工智能领域，「世界模型」是能够对环境或世界的状态进行表征，并预测状态之间转移的模型。这种模型使 Agent 能够在模拟环境中进行学习，并能够将学到的策略迁移到真实世界中，从而提高学习效率并减少风险。 Jürgen S […]

多模态对比学习与联合示例选择 (JEST) 旨在解决大语言模型（如 ChatGPT）训练过程中的高能耗问题。

全参数微调 (Full Parameter Tuning) 是一种深度学习中的模型优化技术，特别是在迁移学习或领域适应的场景中使用。它涉及对预训练模型的所有参数进行微调，以适应特定的任务或数据集。