【线性代数】2-5:矩阵的逆(Inverse)

Abstract: 矩阵的“逆”,以及相关计算
Keywords: Inverse,Singular,Gauss-Jordan

本课视频课程已上线:

  1. 逆矩阵 1
  2. 逆矩阵 2

矩阵的逆

$A^{-1}$

逆,就是乘法的逆,也就是你和你的逆乘起来等于单位的你,如果你是矩阵,那就是单位矩阵,如果你是实数,那逆就是倒数,当然如果是是0,你就没有逆了,如果有了,那就逆天了😆
逆的表示很简单
$$
I=AA^{-1}
$$
上面就是我那段解释的数学语言,$A^{-1}$ 是 $A$ 的逆,由于矩阵乘法有顺序问题,当A是方阵的时候:
$$
I=A^{-1}A
$$

一个矩阵可逆,那么他的左逆和右逆一致,就是他的逆。

Notes

可以理解为矩阵逆的性质或者特点,原文标记为Note

Note1:
The Inverse exist if and only if elimination produces n pivots(row exchanges are allowed)

并不是所有矩阵都有逆!所以,如何判断矩阵是否可逆(invertible)就是求矩阵逆的第一步,要是不可逆,那就不能求逆了。矩阵逆的存在当且仅当消元后产生n个主元(允许行交换)。

Note2:
The matrix A cannot have two different inverse.

解释下,利用了乘法结合律(parentheses),利用左乘和右乘来证明矩阵的左逆和右逆相等
简单的证明:
Suppose $BA=I$ , $AC=I$ Then $B=C$ :
$$
B(AC)=(BA)C
$$
Gives
$$
BI=IC
$$
or
$$
B=C
$$

Note3:
if A is invertible, the one and only solution to $Ax=b$ is $x=A^{-1}b$

这个Note主要是说明$Ax=b$有解的情况,也就是系数矩阵可逆,或者说主元数量为N
证明:
$$
Ax=b
$$
Then:
$$
x=A^{-1}Ax=A^{-1}b\\\\
x=A^{-1}b
$$

Note4:
This is important,Suppose there is nonzero vector $\textbf{x}$ such that $Ax=0$ then Acannot have an inverse . No matrix can bring $\textbf{0}$ back to $\textbf{x}$

解释一下,这一条是重要的一个note,这是后面向量空间的一个重要结论(后面再说,这个不着急,这是线性代数的最核心内容),如果 $Ax=0$ ,其中x不是0,那么A没有逆,证明如下:
$$
Ax=0\\
A^{-1}Ax=A^{-1}0\\
x=A^{-1}0
$$
上面式子中$x\neq0$所以等号不可能成立,那么$A^{-1}$不存在

Note5:
A 2x2 matrix is invertible if and only if $ad-bc$ is not zero:
$$
\begin{bmatrix}
a&b\newline
c&d\end{bmatrix}^{-1} = \frac{1}{ad-bc}\begin{bmatrix}d&-b\newline{-c}&a\end{bmatrix}
$$
本note的解释就是,后面讲到行列式的时候就会有详细的证明了

Note6:
A diagonal matrix has an inverse provided no diagonal entries are zero:

$$
A=\begin{bmatrix}d_1&\,&\, \\\,& \ddots &\,\\\,&\,& d_n\end{bmatrix}
$$
then
$$
A^{-1}=\begin{bmatrix}1/d_1&\,&\,\\\,& \ddots &\,\\\,&\,& 1/d_n\end{bmatrix}
$$
这是一个关于对角矩阵的故事,对角矩阵的对角元素全部非零,其他元素为0,其逆是其所有元素的倒数

$(AB)^{-1}$ and $(AB\dots Z)^{-1}$

两个矩阵相乘的逆,当然你可以把结果一步一步算出来,得到算数结果,然后求逆,但这里的逆视为一种操作,不关系结果是多少,只关注本操作的一系列特性,因为这些特性能是计算变得更简单,按照最基本计算规律可能无法计算,这也是“计算方法”或者“数值分析”课程所最核心的内容,按照某些算法和计算性质,能够优化计算速度,提高计算结果精确度,当然这些都是通过计算机计算的,所数值分析是cs的课程
两个矩阵相乘的逆
$$
(AB)^{-1}=B^{-1}A^{-1}
$$
两个矩阵要交换位置
$$
(ABC)^{-1}=C^{-1}B^{-1}A^{-1}
$$
$$
(AB\dots Z)^{-1}=Z^{-1} \dots B^{-1}A^{-1}
$$
三个或者更多个的时候,要完全倒过来
证明方法灰常简单:
$$
(AB)^{-1}(AB)=B^{-1}(A^{-1}A)B=B^{-1}(I)B=B^{-1}B=I
$$
逆运算与乘法在一起结合就是这样的。

高斯乔丹消元(GAUSS-JORDAN Elimination)

高斯乔丹消元求矩阵的逆,适合小型矩阵的笔算。
其主要基础是矩阵乘法的分块性质
$$
A^{-1}\begin{bmatrix}A&&I\end{bmatrix}\\
=\begin{bmatrix}A^{-1}A&&A^{-1}I\end{bmatrix}\\
=\begin{bmatrix}I&&A^{-1}\end{bmatrix}
$$
其中最关键的一点是如何让 $A$ 变成 $I$,这里就是高斯消元的主要问题点,首先生成一个曾广矩阵,然后消元小区下三角矩阵,以及上三角矩阵,最后只有一个部分对角矩阵,然后用对角矩阵乘以其倒数,右侧的I就变成了$A^{-1}$

其过程大概如下
$$
\begin{bmatrix}A&&I\end{bmatrix}\\
A=LR\\
$$

$$
R=L^{-1}A\dots (1)\\
L^{-1}\begin{bmatrix}A&&I\end{bmatrix}=\begin{bmatrix}R&&L^{-1}I\end{bmatrix}
$$
(1)的主要过程就是通过消元,使得增广矩阵中的A矩阵变成一个上三角矩阵R,对角线一下都是零
$$
R=UD \dots(2)\\
D=U^{-1}R\\
U^{-1}\begin{bmatrix}R&&L^{-1}I\end{bmatrix}=\begin{bmatrix}D&&U^{-1}L^{-1}I\end{bmatrix}
$$
(2)回代过程,D只有对角线上有元素,其他全部是零
$$
I=D^{-1}D\dots(3)\\
\begin{bmatrix}D&&L^{-1}IU^{-1}\end{bmatrix}D^{-1}=\begin{bmatrix}I&&D^{-1}U^{-1}L^{-1}I\end{bmatrix}
$$
(3)对角线归一化,使得A对角线上的元素变成1
同样的一些列操作作用在右半部分$I$上,就能得到一个$D^{-1}U^{-1}L^{-1}$的矩阵
因为
$$A=LUD$$
所以
$$A^{-1}=D^{-1}U^{-1}L^{-1}$$
可知,其结果是正确的。

逆矩阵的性质(Properties)

1:一个矩阵如果是对称的,并且有逆,那么逆也是对称的。
2:三角矩阵的逆如果存在可能是一个稠密矩阵

性质2很重要,有些稀疏矩阵的逆可能是稠密矩阵,这在数值分析中导致某些算法失效,或者效率急剧下降。

奇异和可逆(Singular vs Invertible0

奇异矩阵,和可逆矩阵是一对反义词,奇异这个翻译不知道是谁根据啥想出来的,但是很有迷惑性,不知道啥是奇异矩阵,什么又是非奇异的,奇异矩阵的具体问题我们会在后面学到,但是目前奇异矩阵可以当做没有逆的矩阵。
三角矩阵可逆的唯一条件是对角元素全部非0

Conclusion

本文主要介绍下矩阵逆的一些性质,证明Gauss-Jordan的过程是我自己写的,可能有问题,如果有不严谨的地方,希望大家给予指点,谢谢

0%