【线性代数】7-3:对角化和伪逆(Diagonalization and the Pseudoinverse)
【线性代数】7-3:对角化和伪逆(Diagonalization and the Pseudoinverse)

本课程最前面有一句话,就是我们天天变成三角矩阵也好对角矩阵也好,就是为了让矩阵形式变得简单同时,暴露出矩阵的性质(类似于大数据挖掘),而这些所有对角化,消元操作对应的都是矩阵乘法,也即是说,我们可以通过换基来使矩阵变得漂亮(上一篇说过),我们今天就看看怎么通过换基让矩阵变得简洁漂亮。

【线性代数】7-2:线性变化的矩阵(The Matrix of a Linear Transformation)
【线性代数】7-2:线性变化的矩阵(The Matrix of a Linear Transformation)

而且没什么人看,但是我觉得我敢自称会线性代数了,当然考试的话可能还得不了几分,但起码我能说出来一些很关键的知识,下一步就是机器学习最关键也是我之前完全没学会的概率了,概率和数理统计对于机器学习可能更重要一些,所以后面的博客继续更新概率论,矩阵分析可能要提上日程了,但是目前不确定什么时候写。

【线性代数】6-7:SVD分解(Singular Value Decomposition-SVD)
【线性代数】6-7:SVD分解(Singular Value Decomposition-SVD)

本文介绍SVD,奇异值分解,应该可以算是本章最后的高潮部分了,也是在机器学习中我们最常用的一种变换,我们经常需要求矩阵的特征值特征向量,比如联合贝叶斯,PCA等常规操作,本文还有两个线性代数的应用,在图像压缩上,以及互联网搜索上。

【线性代数】6-6:相似矩阵(Similar Matrices)
【线性代数】6-6:相似矩阵(Similar Matrices)

特征值特征向量这一章是线性代数的高潮部分,可以说是高潮迭起,这部分相比四个子空间部分可能逻辑性更强一点,需要前后联通,只看一部分肯定要掉坑,所以这几篇写的都非常多,今天的相似矩阵是对角化引出的另一个重要分支,但是篇幅不大。

【线性代数】6-4:对称矩阵(Symmetric Matrices)
【线性代数】6-4:对称矩阵(Symmetric Matrices)

举个例子,在三维空间内,A的列空间是一个二维平面那么,A对应的投影矩阵P能够把任何方向的向量投影到平面上,那么如果向量本身属于平面那么 $Px=x$ 显然是不用质疑的(我们之前在投影那篇文章中也讲过) 但是,同志们,看看这个有木有很面熟啊,这个明显就是投影矩阵 $P$ 的特征值和特征向量么?

【线性代数】6-2:对角化(Diagonalizing a Matrix)
【线性代数】6-2:对角化(Diagonalizing a Matrix)

对角化一个矩阵,和之前个种各样的分解有一个同样的思路,当矩阵从原始形态通过各种计算性质变形成为各种有规则的,或者在数值上有特殊的性质,这些特殊的形状都可以用在不同问题上,比如LDR分解可以直接求出pivot值,求解方程,QR分解可以是通过变换向量空间的基来使向量某些方面的性质凸显出来。

【线性代数】6-1:特征值介绍(Introduction to Eigenvalues)
【线性代数】6-1:特征值介绍(Introduction to Eigenvalues)

接着说特征值,作为一个靠着图像处理入门的人,对特征值简直就是不可抗拒,说实话,真的对各种特征都有不必崇敬的心理,当然图像的各种特征值和eigenvalue还是不太一样,但是PCA里面就是Eigenvalue,当时简直是,觉得这个太厉害了,因为不懂所以觉的厉害,就像我90岁的姥姥觉得微信不可思议一样