奇异值的物理意义是什么？

Question

如题所述

Answer 1

我以前看过吴军的数学之美，现在让我们来看看奇异值分解是怎么回事。

---

首先，我们可以用一个大矩阵A来描述这一百万篇文章和五十万词的关联性。这个矩阵中，每一行对应一篇文章，每一列对应一个词。

在上面的图中，M=1,000,000，N=500,000。第i行，第j列的元素，是字典中第j个词在第i篇文章中出现的加权词频读者可能已经注意到了，这个矩阵非常大，有一百万乘以五十万，即五千亿个元素。

奇异值分解就是把上面这样一个大矩阵，分解成三个小矩阵相乘，如下图所示。比如把上面的例子中的矩阵分解成一个一百万乘以一百的矩阵X，一个一百乘以一百的矩阵B，和一个一百乘以五十万的矩阵Y。这三个矩阵的元素总数加起来也不过1.5亿，仅仅是原来的三千分之一。相应的存储量和计算量都会小三个数量级以上。

　　

　　

三个矩阵有非常清楚的物理含义：

矩阵X中的每一行表示意思相关的一类词，其中的每个非零元素表示这类词中每个词的重要性（或者说相关性），数值越大越相关。

矩阵Y中的每一列表示同一主题一类文章，其中每个元素表示这类文章中每篇文章的相关性。

矩阵B则表示类词和文章之间的相关性。因此，我们只要对关联矩阵A进行一次奇异值分解，我们就可以同时完成了近义词分类和文章的分类。

Answer 2

一切矩阵都可奇异值分解，只有方阵可特征值分解。例如实对称矩阵:
【2，1】
【1，2】
■ ①奇异值分解
U＝【0.707， 0.707】
······【0.707，-0.707】
s＝【3，0】
······【0，1】
V＝【0.707， 0.707】
······【0.707，-0.707】
且可验证UsV＝A。
∵ U＝V(它们是正交阵)，
∴ UsV＝UsU＝Us(U转)＝Us(U逆)＝A；
且 UsV＝UsU＝(U转)sU＝(U逆)sU＝A。
■ ②特征值分解
λ1＝3，特征向量P1＝(1， 1)^T；
λ2＝1，特征向量P2＝(1，-1)^T。
可见: 奇异值分解包含了特征值分解；特征值分解可视为奇异值分解之特例。