最小二乘法是一种线性回归的方法
所谓线性回归
其实就是在
平面直角坐标系里有一系列的点
然后模拟一条直线
让这条直线尽可能地与这些点契合
得出直线方程y=αx+β 即为
线性回归方程而所谓最小二乘
就是假设回归直线为y=αx+β
则对于平面上的每个点An的坐标(xk,yk)
将xk代入回归方程 可以求出一个yk'
另δk=yk'-yk 就是回归直线上的点 和 实际点的偏差
这样对于所有的点An都会有一个偏差δn与之对应
我们所要做出的回归直线 要尽可能地与平面上的点契合
那么就是要尽量让这些偏差尽可能地小
但是由于有些点在直线上方 有些点在直线下方
则求出的δ有正有负 所以不能够直接相加
所以我们就想出一个办法 将δ平方后确保为正 然后相加
这样令所有的δ的平方和尽可能小 得到的直线就是最小二乘法求出的最优回归直线
由于直线有两个未知数α和β
所以求最小的方法就是对α和β分别求
偏导数 令两个偏导数都为0
求出α和β 对应的直线方程y=αx+β 就是最小二乘法求出的最优
回归直线方程总的来说 所谓最小二乘
二乘 就是要对每个点对于直线的偏差δ进行平方保正
最小 就是让每个点对于直线的偏差的平方和最小
不知道这样说能否理解