对SVD唯一性的理解
feng
posted @ Wed, 17 Oct 2012 00:12:52 +0800
in 未分类
, 10923 readers
这篇文章主要讨论一下对Singular value decomposition的理解。
SVD告诉我们，对于任何一个$m\times n$的矩阵$A$，都存在这样的一个分解:
\[A=U\Sigma V'\]
其中$U$是$m\times m$的酉矩阵，也就是$UU^* = I$；$V$是一个$n\times n$的酉矩阵；$\Sigma$是一个$m\times n$的矩阵，非对角上的元素都是0，对角线上的元素都是非负的实数，不管$A$是实数矩阵，还是酉空间中的矩阵，或者说有虚数元素。
定理告诉了我们总是存在一个这样的分解的，但并不是说这样的分解是唯一的。比如说有一个permutation matrix，$J$。permutation matrix就是把单位矩阵的行进行重排列，或者列进行重排列。比如说把单位矩阵的第一行和第二行进行交换，第四行和第九行进行交换，交换后的矩阵就是一个permutaion matrix。一个矩阵$A$，左乘一个$J$，相当于对$A$的相应行进行行交换。右乘的话，相当于列交换。两个$J$相乘为一个单位矩阵，相当于对单位矩阵交换了两行之后，再交换一次，不变。
回到正题，任何一个$J$拿到了之后，我们有下面的式子成立
\[A=(UJ_m)(J_m\Sigma J_n)(VJ_n)'\]
$UJ_m$依然是一个酉矩阵，$VJ_n$也依然是一个酉矩阵。这里$J$的小角标表示$J$的大小，是$m\times m$的还是$n\times n$的。如果说$m\ge n$，并且$J_n$是$J_m$左上角的，$J_m$右下角是一个单位阵，右上角和左下角都是0矩阵的话，那么$J_m\Sigma J_n$依然也是一个对角阵。之前对$J_m$和$J_n$的描述，相当于是说，如果$J_m$使得$\Sigma$的第$i$行和第$j$行交换的话，那么$J_n$应该使得$\Sigma$的第$i$列和第$j$列进行交换。从而使得$J_m\Sigma J_n$依然是一个非对角线上元素都是0的矩阵，相当于是将$\Sigma$的对角线上的元素进行了一个重新排列。这是事实告诉我们，SVD的分解是不唯一的。
接下来再考虑一点，如果说$\Sigma$唯一确定之后，这个$U$和$V$是否能够唯一确定的呢？我们再引入一个矩阵，用$K_m$表示，是一个$m\times m$的对角方阵，对角线上的元素具有$e^{i\phi}$的形式，其中$\phi$可是互相不相同。根据定义，我们有$K_mK_m^* = I$。那么
\[A=UK_m K_m^*\Sigma K_n(VK_n)^*\]
其中$U K_m$和$VK_n$分别仍然是酉阵，如果说$K_m$的对角线上第$i$个元素和$K_n$对角线上第$i$个元素相同的话，那么$K_m^*\Sigma K_n = \Sigma$。也就是说，如果$U$的第$i$列乘以$e^{i\phi}$，并且$V$的第$i$列也乘以$e^{i\phi}$，那么结论依然成立。
然后，我们继续疑问：如果$\Sigma$给定，并且允许$U$和$V$差一个$e^{i\phi}$的话，那么$U$和$V$是否能够唯一确定?
这一种情况，比较麻烦。如果说$\sigma_i$都是non-degenerate的话，那么是唯一确定的。否则的话，依然不能够唯一确定。
对degenerate的定义是这样子的。如果$\sigma_i$是degenerate的，那么它有两个互相独立的singular vector。
在这里补充一下，singular value就是$\sigma_i$，而$\mathbf{u}_i$和$\mathbf{v}_i$分别是singular vector，其中要求$i<=\min{m, n}$。并且有下面的式子成立
\[A\mathbf{v}_i = \sigma \mathbf{u}_i\]
并且
\[A^*\mathbf{u}_i = \sigma \mathbf{v}_i\]
如果说$\sigma_i$都是不一样的，那么所有的$\sigma_i$都是non-degenerate的，也就是说这个时候，$U$和$V$都是唯一确定的，在一定意义下。如果说$A$是一个实数矩阵，$U$和$V$可以也是实数的，这样的话，对于其唯一确定的理解是，差一个符号。
这里对于degenerate的讨论比较少，以后有时间补上。
Tue, 20 Apr 2021 09:02:18 +0800
I love the way you write and share your niche! Very interesting and different! Keep it coming!
Tue, 27 Apr 2021 03:15:34 +0800
I know your expertise on this. I must say we should have an online discussion on this. Writing only comments will close the discussion straight away! And will restrict the benefits from this information.
Mon, 04 Oct 2021 20:18:43 +0800
Positive site, where did u come up with the information on this posting? I'm pleased I discovered it though, ill be checking back soon to find out what additional posts you include.
Fri, 08 Oct 2021 22:58:13 +0800
Hi! Thanks for the great information you have provided! You have touched on crucuial points!
Sat, 09 Oct 2021 20:13:42 +0800
I love the way you write and share your niche! Very interesting and different! Keep it coming!
Sun, 24 Oct 2021 16:24:50 +0800
I high appreciate this post. It’s hard to find the good from the bad sometimes, but I think you’ve nailed it! would you mind updating your blog with more information?
Sun, 24 Oct 2021 16:25:04 +0800
I high appreciate this post. It’s hard to find the good from the bad sometimes, but I think you’ve nailed it! would you mind updating your blog with more information?
Sat, 01 Jan 2022 14:49:03 +0800
Somebody essentially help to make seriously posts I would state. This is the very first time I frequented your website page and thus far? I surprised with the research you made to make this particular publish extraordinary. Excellent job! 안전놀이터
Thu, 17 Feb 2022 04:57:00 +0800
small gardens are cute but i still prefer to have those medium sized gardens where i can grow some veggies- 토토사이트