MCMC 是一种基于马尔科夫链从随机分布取样的算法,其通过在概率空间中随机采样以近似兴趣参数的后验分布。 MCMC 基础理论为马尔科夫过程,在相关算法中,为了在一个指定分布上采样,可根据马尔科夫过程,先从任意状态出发模拟这个过程,并不断进行状态转移,最终收敛到平稳分布。 整体思路…
范围索引: MNO
马尔可夫随机场 Markov Random Field
马尔科夫随机场即马尔科夫网络,它是一种用无向图描述的模型,包含一组结点,每个结点对应单变量或一组变量,结点之间的链接存在无向性。 马尔科夫随机场描述了在多个数据点中,两点之间没有明确的前后、方向关系,虽然两点之前存在相互作用,但仅存在于附近的点与点之间,与更远处的点或者最前面的点…
码率自适应算法 Adaptive Bitrate Streaming
码率自适应算法是一种视频传输技术,其可以实现流媒体码率自动调整,调整因素主要有网络状况或客户端延时情况。 ABR 算法主要有两种: 基于速率的算法 Rate-based Algorithms:衡量网络连接速度、根据速度改变视频加载质量;基于缓冲的算法 Buffer-based A…
模拟退火 Simulated annealing
模拟退火算法是一种通用概率演算法,被用于在较大搜寻空间内找寻命题的最优解。 原理 将热力学的理论套用到统计学上,将搜寻空间内每一点想像成空气内的分子;分子的能量,就是它本身的动能;而搜寻空间内的每一点,也像空气分子一样带有「能量」,以表示该点对命题的合适程度。 演算法先以搜寻空间…
拟牛顿法 Quasi Newton method
拟牛顿法是以牛顿法为基础的优化方法,主要用于求解非线性方程组或连续函数的零点、极大、极小值问题。 当牛顿法中的雅可比矩阵或 Hessian 矩阵难以甚至无法计算时,拟牛顿法就起作用了,这是求解非线性优化问题最有效的方法之一,拟牛顿法由美国 Argonne 国家实验室的物理学…
没有免费的午餐定理 No Free Lunch Theorem
NFL 定理指没有一个学习算法可在所有领域产生准确的学习器,即针对某一领域的问题,所有算法的期望性能相同。 NFL 具体描述 对所有可能的目标函数求平均,得到的「非训练集误差」期望值相同;对任意固定的训练集中目标函数求平均,得到的「非训练集误差」期望值相同;对先验知识求平均,得到…
牛顿法 Newton’s Method
牛顿法是在实数域和复数域上近似求解方程的方法,其利用函数 f(x) 的泰勒级数计算方程 f(y) = 0 的根。 牛顿法思想 牛顿法利用迭代点处的一阶和二阶导数对目标函数进行二次函数近似,然后将模型的极小点作为新的迭代点,并不断重复这一过程,直到求得满足精度的近似极小值。 牛顿法…
目标函数 Objective Function
目标函数是设计变量的函数,其通常用于表示所追求的目标形式。 目标函数的形式 最大化后验概率 MAP:如朴素贝叶斯最大化适应函数:如遗传算法最大化回报/值函数:如增强学习最大化信息增益/减小子节点纯度:如 CART 决策树分类器最小化平方差错误成本函数:如 CART、决策树回归、线…
纳什均衡 Nash Equilibrium
纳什均衡是博弈论的一个重要策略组合,以经济学家约翰·纳什命名,其又被称为非合作博弈均衡。 纳什均衡的意义 纳什均衡指在一个策略合作上,在外人不改变策略的状态下,没人会改变自己的策略,其保证同一时间内每位参与者的策略是最优选择。 纳什均衡是一种博弈结果,其基于两个前提:参与者独立且…
命名实体识别 Named Entity Recognition
命名实体识别 NER 又称「专名识别」,指计算机将文本中的命名实体识别出来的过程,这是一个基本的 NLP 任务。 NER 实现方法 命名实体识别方法分为两种:基于规则的方法、基于统计的方法 命名实体识别成功的依据体现在两个方面:实体边界是否正确、实体类型是否标注正确 NER 应用…