最小二乘法_自然百科

[拼音]：zuixiao erchengfa

[外文]：method of least square

测量工作和科学实验中常用的一种数据处理方法，由A.-M.勒让德和C.F.高斯于19世纪初分别独立提出。例如，根据实验观测得到的自变量x和因变量y之间的一组对应关系(x₁，y₁)，(x₂，y₂)，…，(x_m，y_m)，找出一个给定类型的函数y＝ƒ(x)（如线性函数y=αx+b)或二次函数y=αx²+b)x+с等），使它在观测点x₁，x₂，…，x_m处所取的值ƒ(x₁)，ƒ(x₂)，…，ƒ(x_m)与观测值y₁，y₂，…，y_m在某种尺度下最接近。常用的一种尺度和处理方法是：确定函数ƒ(x)中的参数(如前述例子中的参数α和b)或α、b)和с)，使在各点处偏差

的平方和达到最小。如果ƒ(x)是所有待定参数的线性函数（譬如ƒ(x)是多项式或其他已知函数的线性组合），相应的问题称为线性最小二乘问题。工程技术和科学实验中有大量利用最小二乘法建立的经验公式。

从几何意义上讲，上述问题等价于确定一平面曲线（类型先给定），使它和实验数据点“最接近”，故又称为曲线拟合问题。它和插值法不同，并不要求曲线严格通过已知点。由于实验数据常带有观测误差和其他随机因素，所以与实验数据保持一致的插值法往往反倒不如最小二乘法得到的曲线更符合客观实际。

线性最小二乘问题

设，其中α₁，α₂，…，α_n为待定参数；φ₁，φ₂，…，φ_n为选定的已知函数（当时，ƒ(x)为多项式）。实验数据为(x₁，y₁)，(x₂，y₂)，…，(x_m，y_m)。通常m比n大得多。令(i=1，2，…，m；j=1，2，…，n)，并以C 表示以с_ij为元素的m×n阶矩阵，和分别为n和m 维列向量，用这样的矩阵及向量记号，最小二乘问题可表为：求向量，使

，　　　　　　 (1)

式中记号‖·‖₂表示向量的欧氏长度。由微分学求极小值的方法可推得待定参数，α₁，α₂，…，α_n满足方程组

。　　　　　　　 (2)

这个方程称为最小二乘问题的法方程，它的解即为最小二乘解。如果C 为列满秩(即它的列向量线性无关)，则C^TC为非奇异的n×n阶矩阵，而方程组(2)有惟一解。如果C不是列满秩，则(2)的解不惟一。但具有最小欧氏长度的解是惟一的，这个解称之为极小最小二乘解。以C⁺表示C的穆尔-彭罗斯广义逆矩阵（见广义逆矩阵），则不论哪种情况，最小二乘问题(1)的解可表为

。