最小二乘法 The Least Square Method

最小二乘法是一种数学优化方法，其通过最小化误差的平方和寻找数据的最佳匹配函数，最小二乘法可以快速求得未知数据，而且利用这些求得的数据与实际数据之间误差的平方和最小。

最小二乘法的形式

最小二乘法原理为：

目标函数 = ∑ (观测值 – 理论值)²

「最小二乘法」是对过度确定系统（存在比未知数更多的方程组），以回归分析求得近似解的标准方法，在整体解决方案中，最小二乘法演算为各方程式的结果，并将残差平方和的总和最小化。

最小二乘法的应用

最小二乘法通常用于曲线拟合，最小平方所涵盖的最佳拟合，即残差 (观测值与模型提供的拟合值之间的差距) 平方综总和的最小化。

最小平方问题通常分为线性最小二乘法和非线性最小二乘法两种，其由所有未知数中的残差是否为线性决定。

线性最小平方问题通常出现在统计回归分析中，其有一个封闭形式的解决方案；非线性问题通常经由迭代细致化解决，每次迭代中系统有线性近似，故这两种情况下核心演算是相同的。

当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计相同。

最小二乘法的局限性

当问题在自变量有较大不确定性时，使用简易回归和最小二乘法会发生问题，这种情况下须另外考虑变量 – 误差 – 拟合模型所需的方法，而非最小二乘法。