最小二乘估计公式?参数的最小二乘估计公式!

在学习最小二乘法之前,我们首先需要了解二元函数求极值的方法,类似于一元函数,但更为复杂。

z=f(x,y),z在某区域内有二阶连续偏导数,利用下式:

最小二乘估计公式?参数的最小二乘估计公式!

求出函数z=f(x,y)在此区域的驻点(x0,y0)。

在驻点处求出

最小二乘估计公式?参数的最小二乘估计公式!

最小二乘估计公式?参数的最小二乘估计公式!

下面正式开始学习最小二乘法。经验告诉我们,变量xy线性关系,即y=kx+b(k,b为常数)k,b为待定的参数,现经过测量得到n组数据(xi,yi),其中i=1,2,3…,求与实验数据最接近的函数关系(直线)y=kx+b。怎么表示“接近度”,我们用式子

最小二乘估计公式?参数的最小二乘估计公式!

来表示,这样做的好处是消除了负值的影响,便于我们找到最小值。

根据上述思路,用数学表达即为:寻找k,b使得

最小二乘估计公式?参数的最小二乘估计公式!

其中z=z(k,b),(k,b)属于实数集,z为一个二次函数。为了找到最小值,分别求函数z对k和b的偏导数。如下式:

最小二乘估计公式?参数的最小二乘估计公式!

再分别令上述偏导数等于0,得:

最小二乘估计公式?参数的最小二乘估计公式!

根据上面式子直线y=kx+b一定过平均值点(x',y')。

最小二乘估计公式?参数的最小二乘估计公式!

定义域的边界上,(k,b)→(∞,∞)时,z→+∞,所以上述驻点处z(k,b)极小,最小。

注:上述过程称为线性拟合过程,所用的方法称为“最小二乘法”。直线过平均值点(x',y'),所以只需求出直线斜率k,直线写成点斜式即可。

即:

最小二乘估计公式?参数的最小二乘估计公式!

全学科群,学习网课资料添加 微信:a350684171  备注:学习

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 524609750@qq.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.zmz22.com/3543.html