矩阵分解的五种拆法：从秩一积木理解线性代数本质

简介《线性代数的艺术》中文版PDF面向线性代数初学者与需要重建直觉的进阶读者以图形化笔记配合Gilbert Strang《Linear Algebra for Everyone》的框架帮助读者从矩阵分解视角理解向量、矩阵运算与算法。内容围绕理解矩阵的四种视角、向量乘向量、矩阵乘向量、矩阵乘矩阵展开并重点图解CR分解、LU高斯消去、QR格拉姆—施密特正交化、对称矩阵的QΛQT特征对角化以及UΣV^T奇异值分解适合课前预习、复习串讲与建立知识图谱。压缩包为1个PDF文件大小约1.43MB单文件结构便于在电脑、平板或手机上直接阅读与批注。已有577人学习说明其在可视化线性代数资料中具备一定参考价值读者可据此把抽象公式对应到图形与分解流程形成可复用的矩阵运算直觉与解题思路。1. 矩阵分解为什么“拆开”比“算对”更接近线性代数的本质很多人第一次学线性代数卡住的地方不是不会算而是算完之后不知道自己在干什么。行列式展开、高斯消元、特征多项式每一步都能照着做可一旦被问“这个矩阵到底在描述什么”脑子就空了。这份图解笔记给出的答案很反直觉理解矩阵的关键不在于把它算成一个数而在于把它拆成几个有几何意义的矩阵的乘积。CR、LU、QR、QΛQT、UΣVᵀ 这五种分解本质上是同一件事的五种拆法——把一个复杂的线性变换还原成几个简单变换的叠加。搞懂这条主线向量乘法、秩、四个基本子空间这些概念会自动串成一张图而不是散落的知识点。1.1 四个视角一个矩阵为什么同时是数、是列、是行图解笔记开篇就把矩阵 Am×n摆成四种身份一个整体、mn 个数、n 个列向量、m 个行向量。这个看似废话的罗列其实是全部后续内容的种子。把 A 看成列向量的拼接A 就写成 $[,a_1\ a_2\ \cdots\ a_n,]$看成行向量就写成 $[,a_1^;\ a_2^;\ \cdots;\ a_m^*,]$。前者对应“列空间”后者对应“行空间”而转置 $A^T$ 就是把这两种身份互换的开关。我一般会这么理解这层设计矩阵不是“一张数表”而是一个可以被不同方向切开的对象。你从列的方向切看到的是这组向量张成的空间从行的方向切看到的是约束条件。后续所有分解都是在选择“往哪个方向切最划算”——CR 按列切LU 按行列消元切QR 按正交方向切。这就是为什么笔记要花整整一章讲四个视角而不是直接进入公式。1.2 秩一矩阵整个分解体系的原子图示里反复出现一个模式两个向量相乘一个列向量乘一个行向量得到一个矩阵。这看起来只是个运算技巧实际上它是整套分解理论的原子单位。$uv^T$ 的每一行都是 $u$ 的倍数每一列都是 $v^T$ 的倍数所以它的秩恒为 1。一个秩为 r 的矩阵就能写成 r 个秩一矩阵之和。这个结论的分量在于它把“秩”从一个抽象的数字变成了“需要几个秩一积木才能拼出这个矩阵”。LU 分解是把 A 拆成若干秩一外积的递归剥离SVD 是把 A 拆成按奇异值加权的秩一矩阵之和对称矩阵的谱分解是把 S 拆成特征值加权的投影矩阵之和。理解了秩一五种分解就不再是五套独立技巧而是同一个思想在不同约束下的变体。这份资源的价值恰恰在于它用图把这条暗线画了出来而不是让你自己去悟。2. 从向量积到矩阵积乘法为什么有四种看法矩阵乘法在教科书里通常只有一种定义行点乘列。但图解笔记坚持给出四种视角因为不同的视角决定了你能看出什么样的结构。这不是炫技而是为后面的分解做铺垫——如果你只会行点乘列你就看不出 $ACR$ 的意义如果你只会列组合你就理解不了 $AB$ 的列是 $A$ 的列的线性组合。2.1 向量乘向量的两个视角点积与秩一积两个向量相乘第一种是内积 $a^Tb$结果是一个标量衡量的是投影长度与夹角。第二种是外积 $ab^T$结果是一个矩阵而且是秩一矩阵。图示把这两个并排放在一起用意很深同一个乘法符号左边是“压缩成数”右边是“展开成矩阵”方向完全相反。import numpy as np a np.array([1, 2, 3]) b np.array([4, 5, 6]) inner a.T b # 标量: 1*4 2*5 3*6 32 outer np.outer(a, b) # 3x3 矩阵, 秩恒为 1 rank np.linalg.matrix_rank(outer) # 输出 1内积的计算是逐元素相乘再求和参数上没有什么可调的但它决定了正交性的判定$a^Tb0$ 就意味着两个向量垂直。外积则不同它的结果矩阵的第 i 行第 j 列是 $a_i b_j$任意两行都成比例所以秩必然为 1。这个“必然”是后面所有分解能够成立的根基。常见的实现思路是先算出外积再用它做低秩近似而不是直接处理高秩矩阵。2.2 矩阵乘向量的两个视角行点积与列组合$Ax$ 有两种读法。第一种是 Mv1结果向量的第 i 个分量是 A 的第 i 行与 x 的点积这对应“每个方程独立求解”的视角。第二种是 Mv2结果是 A 的各列按 x 的分量加权求和即 $Ax x_1a_1 x_2a_2 \cdots x_na_n$。后者才是线性代数的核心语言——矩阵乘向量就是把向量当作列的组合系数。这两种视角带来的理解差异是实质性的。用 Mv1 看$Ax0$ 是一堆方程的联立用 Mv2 看$Ax0$ 是在问“这些列向量用什么系数组合能得到零向量”答案就是零空间 $N(A)$。同理$Ax$ 能取到的所有值构成列空间 $C(A)$。四个基本子空间不是背出来的是从这两个视角里自然长出来的。图解笔记在这里配的四子空间图把 $N(A)$ 与 $C(A^T)$ 放在 $\mathbb{R}^n$ 里正交把 $N(A^T)$ 与 $C(A)$ 放在 $\mathbb{R}^m$ 里正交秩 r 就是这些空间的维度纽带。2.3 矩阵乘矩阵的四个视角为什么 AB 不等于 BA$ABC$ 有四种算法逐元素的行点积列、C 的每一列是 A 的列的线性组合、C 的每一行是 B 的行的线性组合、以及最关键的——C 是若干秩一矩阵之和即 $AB \sum_k a_k b_k^$其中 $a_k$ 是 A 的列$b_k^$ 是 B 的行。第四种视角直接解释了为什么矩阵乘法不满足交换律。求和项的顺序变了参与外积的列和行就变了得到的矩阵自然不同。它也解释了为什么 $\text{rank}(AB) \le \min(\text{rank}(A), \text{rank}(B))$秩一积木的个数不可能超过任意一边能提供的独立列数或行数。这种把代数性质翻译成“积木数量”的思路是这份图解最值得反复看的地方。3. 五种分解的机制每一把刀切开的是哪一层结构五种分解不是并列的知识点它们各自解决一个特定约束下的问题。CR 处理任意矩阵的秩结构LU 处理求解线性方程组的效率QR 处理正交性QΛQT 处理对称矩阵的谱SVD 处理任意矩阵的最优低秩逼近。理解它们的关键是问这个分解在保持什么不变的前提下把矩阵化简成了什么。3.1 CR 分解列秩等于行秩是怎么被“看见”的$ACR$ 中C 由 A 的线性无关列组成R 是行阶梯形矩阵去掉零行。图示给的例子很具体$\begin{bmatrix}123\235\end{bmatrix}$ 拆成 $\begin{bmatrix}12\23\end{bmatrix}\begin{bmatrix}101\011\end{bmatrix}$。第三列是前两列之和所以在 R 里对应列是 $(1,1)^T$它记录的是“第三列怎么由前两列拼出来”的配方。这里最漂亮的一步是行秩等于列秩的证明。C 只有 r 列所以 A 的所有列都能由这 r 列表出列秩不超过 r。R 只有 r 个非零行A 的所有行都能由这 r 行表出行秩也不超过 r。而 A 本身含有 r 个独立列所以列秩恰为 rC 的列是 A 的列的子集行秩也恰为 r。两边夹住行秩等于列秩。这个结论在教科书里通常用更抽象的方式证而 CR 分解把它变成了“数一数积木”的直观操作。3.2 LU 分解消元法为什么等价于矩阵乘法高斯消元的过程本质上是左乘一系列初等行变换矩阵 E把 A 变成上三角 U$EAU$。把 E 移到右边$AE^{-1}U$记 $LE^{-1}$就得到 $ALU$。L 是下三角对角线上全是 1非对角元素记录的是消元时用过的乘数。求解 $Axb$ 因此拆成两步先解 $Lcb$前代再解 $Uxc$回代。这两步都只涉及三角矩阵计算量是 $O(n^2)$而直接求逆是 $O(n^3)$。图解笔记用递归剥离外积的方式展示 LU先取出第一行第一列构成的外积剩下的部分继续分解直到剥完。这个视角的好处是它直接给出 L 和 U 的元素含义——L 的第 k 列记录的是“第 k 步消元用了哪些倍数”U 的第 k 行记录的是“消元后剩下的方程”。注意LU 分解存在的前提是消元过程中主元不为零。实际计算中需要做行交换这就是 PALU 中的置换矩阵 P。没有 P 的 LU 只对顺序主子式全非零的矩阵成立。3.3 QR 分解格拉姆-施密特在做什么QR 分解的目标是在保持列空间不变的前提下把 A 的列变成一组正交基。格拉姆-施密特的过程是逐步剥离$q_1$ 是 $a_1$ 单位化$q_2$ 是 $a_2$ 减去它在 $q_1$ 上的投影再单位化$q_3$ 是 $a_3$ 减去它在 $q_1$、$q_2$ 上的投影再单位化。每一步减掉的投影系数恰好构成上三角矩阵 R 的元素 $r_{ij}q_i^Ta_j$。写成矩阵形式$a_1r_{11}q_1$$a_2r_{12}q_1r_{22}q_2$$a_3r_{13}q_1r_{23}q_2r_{33}q_3$于是 $AQR$。R 是上三角因为 $a_k$ 只用到 $q_1$ 到 $q_k$。Q 满足 $Q^TQI$这是正交性的代数表达。QR 在数值计算里比 LU 更稳因为正交变换不放大误差这也是最小二乘问题偏爱 QR 的原因。3.4 QΛQT对称矩阵为什么一定有实特征值和正交特征向量对称矩阵 S 的谱分解是 $SQ\Lambda Q^T$Q 的列是正交特征向量Λ 的对角线是实特征值。展开成秩一和就是 $S\lambda_1q_1q_1^T\lambda_2q_2q_2^T\lambda_3q_3q_3^T$。每个 $q_iq_i^T$ 是一个投影矩阵满足 $P_i^2P_i$、$P_i^TP_iP_i$、$P_iP_j0\ (i\neq j)$。这组性质合起来说明这些投影矩阵把空间正交地分解成若干个一维子空间而 S 在每个子空间上只是简单地乘以一个标量 λ。谱定理说的就是这个——对称矩阵的作用可以完全解耦成“在正交方向上各自缩放”。$Q Q^TI$ 在投影语言里就是 $\sum P_iI$即这些投影拼起来覆盖整个空间。这份图解把这个代数恒等式画成了几何拼接比纯公式好懂得多。3.5 SVD任意矩阵为什么也能被正交对角化对称矩阵有谱分解任意矩阵没有但 SVD 给了它一个“双边”的版本$AU\Sigma V^T$。V 是 $\mathbb{R}^n$ 里的正交基$A^TA$ 的特征向量U 是 $\mathbb{R}^m$ 里的正交基$AA^T$ 的特征向量Σ 是对角矩阵对角线是奇异值。展开成秩一和$A\sigma_1u_1v_1^T\sigma_2u_2v_2^T\cdots$。这里的关键机制是$A^TA$ 和 $AA^T$ 都是对称半正定矩阵所以它们必有非负实特征值和正交特征向量。两者的非零特征值完全相同都是 $\sigma_i^2$对应的特征向量分别构成 V 和 U。于是任意矩阵的作用被拆成三步先用 $V^T$ 在输入空间旋转到标准正交基再用 Σ 在各方向上缩放最后用 U 在输出空间旋转。这就是为什么 SVD 在降维和数据压缩里这么好用——把 Σ 里小的奇异值截掉剩下的就是最优的低秩近似。4. 实用模式分解是怎么被“拼”回去的图解笔记在讲完乘法视角之后插了一章“实用模式”画的是矩阵与特殊矩阵相乘时的结构变化。这一章容易被跳过但它其实是连接“分解”和“应用”的桥梁——你不仅要会拆还要知道拆出来的东西怎么和别的矩阵作用。4.1 右乘与左乘列运算和行运算的分界右乘一个矩阵作用在列上$A$ 乘一个初等矩阵等于对 A 的列做相应的组合。左乘一个矩阵作用在行上。图里的 P1 和 P2 就是这个区分P1 是列运算P2 是行运算。这个区分在分解里到处都是。$ACR$ 中R 是右乘的产物记录列的组合方式$ALU$ 中L 是左乘的产物记录行的消元方式。QR 中 R 是右乘QΛQT 中 Q 和 $Q^T$ 一左一右。搞清楚一个矩阵在等号哪一边就知道它作用在行还是列上。4.2 对角矩阵与特征值模式微分方程和递推为什么共享同一个解对角矩阵乘在左边或右边效果是把对应行或列分别乘上对角元。这个简单事实在解微分方程组 $\frac{du}{dt}Au$ 和递推方程 $u_{n1}Au_n$ 时会突然变得重要。两个问题的解都可以写成 $uX\Lambda^n X^{-1}u_0$ 或 $uXe^{\Lambda t}X^{-1}u_0$其中 X 是特征向量矩阵。机制是这样的如果 A 可对角化$AX\Lambda X^{-1}$那么 $A^nX\Lambda^nX^{-1}$而 $\Lambda^n$ 只是对角线各自取 n 次方计算 trivial。微分方程同理$e^{At}Xe^{\Lambda t}X^{-1}$。这就是对角化的全部价值——把矩阵的幂和指数变成标量的幂和指数。图解把这两个问题并排画出来就是要说明它们共享同一个模式 P3。4.3 P4 模式为什么 SVD 和谱分解长得一样P4 模式是“三个矩阵相乘中间是对角矩阵两边互为转置的某种变体”。对称矩阵的 $Q\Lambda Q^T$ 和任意矩阵的 $U\Sigma V^T$ 都是这个形状。区别只在于对称矩阵两边是同一个正交矩阵 Q任意矩阵两边是两个不同的正交矩阵 U 和 V。这个统一视角让 SVD 不再显得突兀——它是对称谱分解在“输入空间和输出空间可以不同”时的自然推广。理解这一点再看 PCA、推荐系统里的矩阵补全、图像压缩里的低秩近似就会发现它们用的都是同一套 P4 骨架只是具体选哪几个奇异值不同。5. 避坑看图解笔记时最容易翻车的几个地方5.1 把秩一矩阵当成“特殊矩阵”而不是“基本积木”现象看到 $uv^T$ 觉得它只是个简单例子学完就忘。原因教科书通常把它放在习题里没有强调它是所有分解的共同原子。解决回头把五种分解全部用秩一和重写一遍——$ACR$ 是 r 个秩一积$SQ\Lambda Q^T$ 是 n 个投影加权$AU\Sigma V^T$ 是 r 个秩一积加权。写完就会发现它们是同一个思想的不同约束版本。5.2 混淆 Mv1 和 Mv2导致零空间和列空间理解错位现象能算出 $Ax0$ 的解但说不清为什么零空间和行空间正交。原因一直用行点积的视角看 $Ax$没有切换到列组合的视角。解决把 $Ax$ 写成 $x_1a_1\cdotsx_na_n$然后问“什么系数让这个组合为零”。零空间的向量就是这些系数它们自然与 A 的每一行正交所以 $N(A)$ 正交于 $C(A^T)$。5.3 以为 LU 分解总是存在不做主元检查现象代码里直接调 LU遇到奇异矩阵或主元为零时结果不对甚至报错。原因忽略了 LU 分解需要主元非零的前提或者没做行交换。解决用带置换的 PALU检查 P 是否为单位矩阵。如果 P 不是单位阵说明原矩阵需要行交换才能分解。数值上还要看主元是否过小过小就说明矩阵接近奇异。5.4 把 QR 分解的 Q 当成唯一的现象不同库算出的 Q 符号不同怀疑算错了。原因正交基的每个向量可以取反方向$q_i$ 和 $-q_i$ 都是单位正交向量。解决Q 在相差一个对角符号矩阵的意义下唯一即 $QQD$D 的对角线是 ±1。比较结果时看 $Q^TQ$ 是否为单位阵、$QR$ 是否还原 A而不是逐元素比对。5.5 认为 SVD 的奇异值顺序无关紧要现象截断时随便取前 k 个奇异值重构效果很差。原因SVD 的奇异值按从大到小排列Σ 必须保持这个顺序U 和 V 的列也要同步。解决任何 SVD 实现返回的 Σ 都是降序的截断就是取前 k 个。如果要自定义顺序必须同时置换 U 和 V 的列否则 $U\Sigma V^T$ 不再等于 A。6. 设计取舍图解为什么选这五种分解而不是别的把这份笔记和标准教材对照会发现它刻意省略了很多内容没有讲行列式的几何意义没有展开数值稳定性分析没有深入讨论伪逆和最小二乘的推导。它只保留了五种分解而且每一种都配了“从秩一积木拼回去”的图示。这是一个明确的设计取舍用覆盖面的收窄换取主线的高度统一。我认为这个取舍是成立的。线性代数的教材之所以让人迷失往往不是因为某个概念太难而是因为概念之间的连接太多太乱。行列式可以讲体积可以讲可逆性可以讲特征值乘积每条路都通但走完一条不一定能回到主线。这份图解选择了“分解”作为唯一主线把所有概念都挂在这条线上秩是积木数量四个子空间是分解的副产品特征值是谱分解的权重奇异值是 SVD 的权重。牺牲的是广度换来的是每一个概念都有明确的归属。验证这个取舍是否有效有个简单的办法合上书试着用“秩一积木”的语言把五种分解各复述一遍再说出它们分别保持了哪个空间不变。CR 保持列空间LU 保持解空间QR 保持列空间但换成正交基QΛQT 保持对称结构SVD 保持行空间和列空间的双边正交性。如果这五句话能顺畅说出来说明主线已经建立如果卡在某一条就回去看对应的图。如果想继续深挖有两个方向。一是数值层面QR 的 Householder 实现和 Gram-Schmidt 的数值稳定性差异LU 的选主元策略对误差的影响。二是应用层面SVD 在 PCA 里的角色、QR 在最小二乘里的角色、LU 在电路仿真和结构分析里的角色。这两个方向都不在这份笔记的范围内但它给的骨架足以让你在读这些内容时不至于迷路。我自己的血泪经验是早年学线性代数花了大量时间练手算结果遇到真实问题——比如判断一个高维数据矩阵的有效秩、或者给一个病态方程组选解法——完全不知道该调用哪个分解。后来强迫自己每遇到一个矩阵问题先问“这个矩阵的结构是什么该用哪把刀切开”才慢慢把知识串起来。从那以后我每次碰线性代数相关的代码都强制先写出矩阵的秩结构再选分解方法而不是上来就np.linalg.inv。这份图解笔记最值得下载的地方就是它把这条“先看结构、再选刀”的习惯用图钉在了你脑子里。希望帮到你。本文还有配套的精品资源点击获取