最小二乘法的基本原理和多项拟合matlab实现
最小二乘法的基本原理一、最小二乘法的基本原理总整体上考虑近似函数 )(xp同一数据点 ),(iyx(i=0,1,…,m)误差iiiyxpr??)((i=0,1,…,m) 常用的方法有三种:一是误差iii(i=0,1,…,m)最大绝对值 imr?0a，即误差 向量Tmrr),(10??的∞—范数；二是误差绝对值的和 ??i0，即误差向量 r 的 1-范数；三是误差平方和 ??mir02的算术平方根，即误差向量 r 的 2-范数；前两种方法简单自然，但不方便微分操作 ，后一种方法相当于考虑 2-范数平方，因此误差平方常用于曲线拟合 ?mir02来 度量误差 ir(i=0，1，…，m)整体大小。具体的数据拟合方法是：给定数据 ),(iyx (i=0,1,…，m)，取定函数类 ?中,求 ?)(xp,使误差 iiipr??)(i=0,1,…,m)平方和最小，即?mi02????iiiyx02mn(从几何意义上说，就是寻求和给定点 ),i(i=0,1,…,m)距离平方和最小曲线 )(xpy?(图 6-1)。函数 (xp拟合函数称为拟合函数或最小二乘解 p(x)该方法称为曲线拟合的最小二乘法。 函数类 ?有不同的选择方法.6—1二 多项式拟合假设给定数据点 ),(iyx(i=0,1,…,m)， ?不超过所有次数 )(mn?多项式构成的函数类，现在求一??nknxap0(,使得??in)(0022???????????mi minkiiiin yyxI(1)当拟合函数为多项式时，称为多项式拟合，满式(1) )(xpn称为最小二乘拟合多项式。特别地，当 n=1 称为线性拟合或直线拟合。显然 ???minkiiyxaI02)(为 na?,10多个函数，所以上述问题是求 ),(10naI??的极值 问题。多元函数求极值的必要条件 jxyaImi jinkij ,,0)(20 ?????(2)即njyxaxnkmiijkmij ,10,)(00 ?????(3)(3)是关于的 n?,1线性方程组用矩阵表示 ??????????????????????????? miiniiminmiminininii mimi yxyaxxxx0010020100020 ??????(4)型(3)或型(4)称为正规方程组或法方程组。可以证明方程组(4)系数矩阵是对称正定矩阵，所以有唯一的解决方案。从式(4)中解出 ka(k=0,1,…，n)，从而获得多项式 ?nknxap0)( (5)公式(5)中可以证明 满足式(1)，即 )(xpn为所求的拟合多项式。我们把?????mi iinyxp(称为最小二乘拟合多项 )(xpn记录平方误差?????mi iinyr可以得到022由式(2) ???minkmiikyxayr0022 )((6)多项拟合的一般方法可概括为以下步骤:(1) 函数粗略的图形-散点图由已知数据绘制，以确定拟合多项式的次数n；(2) 列表计算 ??mij nx0)2,1(?和 ?miij njyx0 )2,10(?；(3) 写正规方程组，求出 na?,10；(4) 写拟合多项式 ?nknxp0)(。在实际应用中， m?或 ?；当 m拟合多项式是拉格朗日或牛顿插值多项式。 例 1 在温度下测量铜线 iT(℃)时的电阻 )(?iR如表 6-1，求电阻 R 与温度 T 近似函数关系。i 0 1 2 3 4 5 6i(℃) 19.1 25.0 30.1 36.0 40.0 45.1 50.0)(?iR76.30 77.80 79.25 80.80 82.35 83.90 85.10解 画散点图(图) 6-2)，可见测得的数据接近一条直线，所以取 n=1.拟合函数为 TaR10??列表如下i iTi 2i iRT0 19.1 76.30 364.81 1457.3301 25.0 77.80 625.00 1945.0002 30.1 79.25 906.01 2385.4253 36.0 80.80 1296.00 2908.8004 40.0 82.35 1600.00 3294.0005 45.1 83.90 2034.01 3783.8906 50.0 85.10 2500.00 4255.000?245.3 565.5 9325.83 20029.445正规方程组为 ?245.3 565.5 9325.83 20029.445正规方程组为 ????????????? 45.209683.925.471a解方程组得 1.,7.01?a故得 R 与 T 拟合线为 TR92.5.?铜线的电阻值可以通过上述关系类型来预测。例如，由 R=0 得 T=-242.5.预测温度T=-242.5℃ 铜线无电阻。6-2例 2 例 2 已知实验数据如下表所示i 0 1 2 3 4 5 6 7 8ix1 3 4 5 6 7 8 9 10iy10 5 4 2 1 1 2 3 4试用最小二乘法求其二次拟合多项式。解 拟合曲线方程为 210 xay??列表如下I ixiy2ix3i4ixiyix20 1 10 1 1 1 10 101 3 5 9 27 81 15 452 4 4 16 64 256 16 643 5 2 25 125 625 10 504 6 1 36 216 1296 6 365 7 1 49 343 2401 7 496 8 2 64 512 4096 16 1287 9 3 81 729 6561 27 2438 10 4 100 1000 10000 40 400?53 32 381 3017 25317 147 正规方程组1025 ?53 32 381 3017 25317 147 正规方程组1025 ?????????????1025473253701385892a解得 67.6.,497. 210??a因此，拟合多项式为 2.0533xy?*三 最小二乘拟合多项式的存在是唯一的定理 1 设节点 nx,10? 法方程组(4)的解存在是唯一的。证 克莱姆法则只需要证明方程组(4)的系数矩阵并不奇怪。如果方程组(4)系数矩阵奇怪，则相应的齐次方程组??????????????????????????? miiniiminmiminininii mimi yxyaxxxx00100201000201?????? (7)有非零解。可7)可以写成 njaxnkkmij ,1,)(0 ???(8)将式(8)中第 j 个方程乘以 j(j=0,1,…，n)，然后是新的 n 1 方程左右两端分开 相加，得??????????njkkmijj axa000)(因为 ??????????????????mi mi miinnkinjjinjkkjinjkkmij xpxaxaaxa00 02000 )()()()(其中 ?nknxap0)(所以 )(inx(i=0,1,…,m))(xpn次数不超过 n 多项式，它有 m 1＞n 由代数基本定理的相差零点必须有 0