使用到的数学符号:
Ax=b的行视图(凸优化中的超平面):
列视图(矩阵列的线性组合):
列空间:
零空间:
行空间:
左零空间:
四个基本子空间的关系:
注意零空间有可能不存在,比如在满秩的情况下。
利用子空间重新看待线性方程组的解:
Ax=b方程的解:
Ax = λx的几何意义:
特征分解的性质:
负定矩阵:< 0
不定矩阵: 对有的向量 > 0 , 的有的向量 < 0
那么,矩阵的正定,负定、不定有什么用呢?
二次型图像:
这里的Cx,可以理解为先对数据进行去均值,使得 均值为0 ,正对角线可以理解为 方差 ,负对角线可以理解为 协方差 。
问题: 假设变换矩阵为Y = QX,并先假设Q是方阵(先不降维),则有:
如何使得Cy是一个对角矩阵?
因为协方差矩阵是对称矩阵,可以进行对角化(实对称矩阵一定可以对角化):
将 Q 换为 U 的转置就可以啦。U 是正交阵。
这里,我们把2行的X,降维称1行,这里的特征值我们取最大值2,因为方差越大蕴含的信息越多,也可以理解为这个数据越重要。
图像表示如下:
这里降维的操作相当于把离散的点映射到了一条直线上。
也就是: