求回归方程的最小二乘法,是怎么计算的?

如题所述

计算方法:

y = Ax + B:a = sigma[(yi-y均值)*(xi-x均值)] / sigma[(xi-x均值)的平方];b = y均值 - a*x均值。

知识拓展

最小二乘法求回归直线方程的推导过程

这里的是为了区分Y的实际值y(这里的实际值就是统计数据的真实值,我们称之为观察值),当x取值(i=1,2,3……n)时,Y的观察值为,近似值为(或者说对应的纵坐标是)。
其中式叫做Y对x的回归直线方程,b叫做回归系数。要想确定回归直线方程,我们只需确定a与回归系数b即可。
设x,Y的一组观察值为:
i = 1,2,3……n
其回归直线方程为:
当x取值(i=1,2,3……n)时,Y的观察值为,差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度,见下图:

实际上我们希望这n个离差构成的总离差越小越好,只有如此才能使直线最贴近已知点。换句话说,我们求回归直线方程的过程其实就是求离差最小值的过程。
一个很自然的想法是把各个离差加起来作为总离差。可是,由于离差有正有负,直接相加会互相抵消,如此就无法反映这些数据的贴近程度,即这个总离差不能用n个离差之和来表示,见下图:
一般做法是我们用离差的平方和,即:

作为总离差 ,并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方,所以这种使“离差平方和为最小”的方法,叫做最小二乘法。
用最小二乘法求回归直线方程中的a、b的公式如下:
其中,、为和的均值,a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值,a、b求出后,回归直线方程也就建立起来了。
当然,我们肯定不能满足于直接得到公式,我们只有理解这个公式怎么来的才能记住它,用好它,因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前,我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式:

接着是第二个公式:

基本变形公式准备完毕,我们可以开始最小二乘法求回归直线方程公式的推导了:

至此,公式变形部分结束,从最终式子我们可以看到后两项

与a、b无关,属于常数项,我们只需

即可得到最小的Q值,因此:

温馨提示:答案为网友推荐,仅供参考
第1个回答  推荐于2017-04-26

因为查看此知识点的人较多,我对原答案进行了一些补充

求出上图公式中的系数a和b,即可得到回归方程。

tips:Σ读作sigma或“西格玛”,意为求和。Σ上方表示上界,下方表示下界,在本例中即意味着从i=1开始,一直到i=n为止,将西格玛后面的式子进行累加。如果题干没有歧义,上/下界也可以忽略不写。而Σ的作用域仅仅为后面的第一个式子,这里的式子可以理解为一个“乘除表达式”,而非“加减表达式”,这也是记忆该最小二乘法计算方法的关键!该公式的计算步骤在追问&追答中有,下面补充一个例子。

问:设n=2,k1=3,k2=6,h=5。求Σki+h、Σ(ki+h)、Σki*h+h的值?

解:我将西格玛的拆分式用符号[ ]框起来

①Σki+h=[ Σki ]+h=[ (k1) + (k2) ]+h=[ (3) + (6) ]+5=14

②Σ(ki+h)=[ Σ(ki+h) ]=[ (k1+h) + (k2+h) ]=[ (3+5) + (6+5) ]=19

③Σki*h+h=[ Σki*h ]+h=[ (k1*h) + (k2*h) ] +h=[ (3*5) + (6*5) ]+5=50

也就是Σ只对它后面的第一个乘法因子有效,倘若后面出现了+或-,则那些部分不在Σ的作用域内。当然还要记住括号可以把一个较长的加减表达式理解为一个乘除表达式(例如②),即理解为一个单一的乘法因子。

追问

有了这个怎么算,知道x1,y1,x2,y2,然后b的那一块怎么算

追答

这样子:
①根据数据,就算出平均数X,和平均数Y,后面用大写的X和Y代表平均数
②计算(x1-X)×(y1-Y),计算(x2-X)×(y2-Y)……计算(xn-X)×(yn-Y)
③将②中计算得到的所有数据相加,作为分子
④计算(x1-X)²,计算(x2-X)²……计算(xn-X)²
⑤将④中计算得到的所有数据相加,作为分母
⑥将③中的分子和⑤中的分母相除,得到b
a用Y-bX计算。
问的是这个吗?

本回答被提问者采纳
第2个回答  2019-12-21
就是用乘法乘呗还能算计算
第3个回答  2020-01-20
相似回答