【线性代数】6-7:SVD分解(Singular Value Decomposition-SVD)
【线性代数】6-7:SVD分解(Singular Value Decomposition-SVD)

本文介绍SVD,奇异值分解,应该可以算是本章最后的高潮部分了,也是在机器学习中我们最常用的一种变换,我们经常需要求矩阵的特征值特征向量,比如联合贝叶斯,PCA等常规操作,本文还有两个线性代数的应用,在图像压缩上,以及互联网搜索上。

【线性代数】6-6:相似矩阵(Similar Matrices)
【线性代数】6-6:相似矩阵(Similar Matrices)

特征值特征向量这一章是线性代数的高潮部分,可以说是高潮迭起,这部分相比四个子空间部分可能逻辑性更强一点,需要前后联通,只看一部分肯定要掉坑,所以这几篇写的都非常多,今天的相似矩阵是对角化引出的另一个重要分支,但是篇幅不大。

【线性代数】6-4:对称矩阵(Symmetric Matrices)
【线性代数】6-4:对称矩阵(Symmetric Matrices)

举个例子,在三维空间内,A的列空间是一个二维平面那么,A对应的投影矩阵P能够把任何方向的向量投影到平面上,那么如果向量本身属于平面那么 $Px=x$ 显然是不用质疑的(我们之前在投影那篇文章中也讲过) 但是,同志们,看看这个有木有很面熟啊,这个明显就是投影矩阵 $P$ 的特征值和特征向量么?

【线性代数】6-2:对角化(Diagonalizing a Matrix)
【线性代数】6-2:对角化(Diagonalizing a Matrix)

对角化一个矩阵,和之前个种各样的分解有一个同样的思路,当矩阵从原始形态通过各种计算性质变形成为各种有规则的,或者在数值上有特殊的性质,这些特殊的形状都可以用在不同问题上,比如LDR分解可以直接求出pivot值,求解方程,QR分解可以是通过变换向量空间的基来使向量某些方面的性质凸显出来。

【集合论】集合操作
【集合论】集合操作

我们之前学过很多数字的运算,以及运算法则,下面我们进行扩展,扩展到集合,数字的运算结果是数字,集合的运算结果也是集合,但是要换个名字,比如加法产生和,减法产生差,乘法产生积。

【线性代数】6-1:特征值介绍(Introduction to Eigenvalues)
【线性代数】6-1:特征值介绍(Introduction to Eigenvalues)

接着说特征值,作为一个靠着图像处理入门的人,对特征值简直就是不可抗拒,说实话,真的对各种特征都有不必崇敬的心理,当然图像的各种特征值和eigenvalue还是不太一样,但是PCA里面就是Eigenvalue,当时简直是,觉得这个太厉害了,因为不懂所以觉的厉害,就像我90岁的姥姥觉得微信不可思议一样

【集合论】 样本集合
【集合论】 样本集合

集合论各种数学教材上都有提到,每次都是,“为了理解xx内容,需要一些集合论的基础知识”,比如数学分析,概率论,拓扑学,这几个分支的基础教材一开始都是讲集合论的,我们画的图也把集合论放在了根部的位置