重学线性代数：从高斯消元到列空间与秩

很多人对线性代数的记忆都停在期末前突击的那两周把系数摆成一个矩阵把某一行乘个倍数加到另一行上最后在草稿纸角落圈出 x、y、z 三个数字交卷。我当年也是这么过来的分数不算难看但工作之后真正遇到需要动手建模的场合——图像坐标的变换、一批观测数据的拟合、节点之间的流量分配——脑子里第一反应从来不是“这里该用线性代数”而是“我能不能写两层循环硬算”。这个反差挺刺人的我学的其实不是线性代数我学的是一套叫“高斯消元”的手工流程而矩阵、向量、线性组合、秩这些词从来没在我脑子里形成过任何图像。所以这次重学我把目标写得很死不追求刷题量只求每写下一个式子能立刻说出它在空间里干了什么。下面这一篇就是我第一轮重学的整理重点覆盖方程组、消元、矩阵乘法、列空间与秩这条主线适合和我一样“会算但不会看”的人对照着过一遍。1. 第二次翻开线性代数我把学习顺序整个倒了过来第一次学的时候教材的顺序是先定义矩阵再讲矩阵的加法、数乘、乘法然后引入方程组最后讲向量空间。这个顺序在逻辑上没毛病但对自学者极不友好因为你前三分之二的时间都在跟一堆没有动机的运算规则打交道等到向量空间出现时人已经疲了。这次我换了个走法先把“解方程组”当成主线问题矩阵和乘法都是为解决这个问题、描述这个过程才被发明出来的工具。顺序一换很多原来觉得莫名其妙的规定一下子就有了理由。1.1 第一次学完留下的三个后遗症第一个后遗症是把矩阵当成一个装数字的方框。知道它是 m 行 n 列知道元素记作 a_ij但不知道“行”和“列”各自代表什么也不知道为什么矩阵乘法非得是行乘列、还得要求左边列数等于右边行数。这种状态下矩阵乘法就是一条需要背下来的规则稍微变形就慌。第二个后遗症是把消元当成一套固定动作。记住的是“先拿第一行消掉下面所有 x再拿第二行消掉下面所有 y”但从来没问过为什么只能做这三种行变换为什么交换两行不改变解为什么某一行乘以零就不行这些“为什么”当时被一句“显然”带过去了实际上它们才是整件事的骨架。第三个后遗症是把“有没有解”当成运气。算到最后出现 0 1就知道无解出现 0 0就知道有无穷多解。这当然不算错但这只是现象层面的判断背后的结构——增广矩阵的秩和系数矩阵的秩是否相等——完全没有建立起来。结果就是一旦问题从 3 个未知数变成 300 个这套“算着看”的办法就彻底失效了。1.2 把顺序倒过来先问“空间里发生了什么”再问“怎么算”重学时我给自己定的第一条规矩任何代数操作必须能翻译成一句几何描述说不出来就说明没懂。比如“矩阵乘向量”这件事教材上的定义是一行一行乘出来得到一个新向量但换个读法它就是“用这个向量的各个分量去线性组合矩阵的各列”。这两种读法算出来的结果完全一样可理解成本天差地别。再比如“方程组有解”这件事。按行看是若干个超平面求公共交点按列看是问“目标向量 b 能不能由系数矩阵的各列拼出来”。后一种读法直接把问题导向了列空间而列空间又是秩、是维数、是最小二乘的入口。我在笔记里把这两种视角并排写左边代数、右边几何写着写着就发现原来教材里那些看起来毫不相干的章节其实是从不同角度描述同一个对象。倒过来学的另一个好处是动机先于定义。先有了“我要判断这个系统有没有解、解有多大自由度”的需求再去看秩的定义就不会觉得它是个凭空冒出来的数字先有了“我要把两个变换接连作用”的需求再去看矩阵乘法的定义就不会觉得那条行乘列的规则是拍脑袋定的。1.3 笔记怎么记一半写式子一半写人话我的笔记页面分成两栏。左栏写完整的推导过程一步不省右栏只写一句话回答“这一步在干什么”。举个具体的样子左栏推导右栏人话r₂ ← r₂ − 2r₁把第二个方程里多余的 x 消掉得到 y z 1现在第二个方程只含 y 和 z降了一个维度r₃ ← r₃ − 3r₁再 r₃ ← r₃ − r₂第三个方程被彻底消成 0 0说明它是前两个的“重复信息”回代得 x 1 z解不是三个数是一条直线上的所有点另外我单独维护了一张“概念三栏表”每个概念强制填三格代数定义、几何图像、实际用途。填不满的格子就是我的知识漏洞。比如“秩”这一行代数定义是“主元的个数”几何图像是“列向量张成的空间的维数”实际用途是“判断方程组解的自由度、判断数据是否冗余”。这三格能同时说顺才算真的过关。提示三栏表里“实际用途”那一格最容易糊弄自己。写“用于机器学习”这种话没意义要写到“在最小二乘拟合里秩亏意味着参数不唯一需要加正则项”这个颗粒度。2. 方程组的解到底长什么样三种结局和两套图像很多人对方程组的理解停在“解出一组数”但真实问题里“解出来”往往是最不重要的一步。更重要的是先知道这个系统到底有没有解如果有是唯一一个还是一族这一族解的“形状”是什么这三个问题的答案决定了你后面该用求解器、该用最小二乘、还是该回去检查建模是不是写错了。2.1 两个方程、三个方程分别在空间里画什么二元一次方程在平面上是一条直线。两个二元方程凑成一个系统就是问两条直线有没有公共点交于一点是唯一解完全重合是无穷多解平行不重合是无解。这是最直观的入口但它有个陷阱——这个图像是“行图像”画的是每个方程自己的解集而不是整个系统的解。到了三元单个方程是一个平面。三个方程就是三个平面求公共点。结果有五种可能交于一点、交于一条直线、交于一个平面三个平面重合、完全不相交、两两相交但三者无公共点。后两种情况在代数上都表现为“无解”但在几何上是完全不同的两件事这点在建模时很重要——前者说明约束互相矛盾后者往往说明某个方程写错了。我一直觉得“三个平面”这个图是理解秩的最佳入口。三个平面交于一点说明三个法向量线性无关系数矩阵满秩交于一条直线说明有一个法向量是另外两个的组合秩降了一维同时那条交线正好就是零空间平移过去的结果。2.2 行图像和列图像看的是同一件事的两面行图像是“每个方程画一个图形求公共部分”。列图像完全换了个问法把方程组写成x·(第一列) y·(第二列) z·(第三列) b这时候问题变成用系数矩阵的三列能不能拼出右边的 b如果能怎么拼有多少种拼法这个转换是整个线性代数的分水岭。我第一遍学的时候完全没意识到它的重要性直到我看懂下面这个对照关系才觉得脑子里的灯亮了问题行视角的说法列视角的说法有没有解这些图形有没有公共点b 在不在各列张成的集合里解唯一吗公共点是不是只有一个各列是否线性无关解的自由度公共部分的维数各列的线性关系有多少种无解时怎么办找不到公共点b 不在列空间里只能找最近的投影这个对照表我建议每个人都手抄一遍。抄完之后你会发现教材后面讲的列空间、零空间、秩、正交投影全都是在把这张表的右半边展开讲一个概念都没多出来。2.3 一个 3×3 例子的完整手算推演光说抽象没用拿个具体系统走一遍。考虑x 2y z 3 2x 5y 3z 7 3x 7y 4z 10第一步消掉后两行里的 xr₂ ← r₂ − 2r₁得 y z 1r₃ ← r₃ − 3r₁得 y z 1这时候已经能看出问题了第二行和第三行变成了一模一样的东西。继续 r₃ ← r₃ − r₂第三行变成 0 0。它没有提供任何新信息是一句“废话”。第二步把它化成最简阶梯形。用 r₂ 消掉 r₁ 里的 yr₁ ← r₁ − 2r₂得 x − z 1于是最简阶梯形是1 0 -1 | 1 0 1 1 | 1 0 0 0 | 0第三步读数。第一行说 x − z 1第二行说 y z 1。z 没有主元可以随便取所以它是自由变量。把 z 记作参数 tx 1 ty 1 − tz t写成向量形式就是 (x, y, z) (1, 1, 0) t·(1, −1, 1)。这行式子的信息量比“解出来”大得多。前半段 (1, 1, 0) 是一个特解代回去三次方程全成立后半段 t·(1, −1, 1) 是齐次解也就是让左边等于零的所有方向。整个解集是一条过 (1,1,0)、方向为 (1,−1,1) 的直线。验证一下齐次部分把 (1,−1,1) 代进系数矩阵第一行 1−210第二行 2−530第三行 3−740确实全零。2.4 唯一解、无穷多解、无解用同一套动作区分上面那个例子属于“无穷多解”。另外两种结局其实走的是同一套流程只是读数的地方不一样。举两个最小的例子对照唯一解的情形x 2y 3 3x 5y 4消元 r₂ ← r₂ − 3r₁得 −y −5即 y 5回代 x 3 − 10 −7。两个变量对应两个主元一个自由变量都没有解就一个点。无解的情形x 2y 3 2x 4y 7消元 r₂ ← r₂ − 2r₁得 0 1。这时候不要急着写“无解”就完事要看清楚发生了什么第二行的左边被完全消干净了但右边剩下一个非零常数。用列视角说就是 b 的分量里有一部分落在列空间之外无论怎么组合两列都追不上。把三种情况归纳成一套判定动作我记的是这个顺序化到阶梯形数一数系数矩阵有几个主元记作 r看增广矩阵有没有出现“左边全零、右边非零”的行有就是无解没有这种行的话比较 r 和未知数个数 nr n 是唯一解r n 是无穷多解自由变量个数正好是 n − r。这个流程的价值在于它不依赖具体数字未知数是 3 个还是 3000 个动作完全一样。后面第 5 节我会把这套动作升级成“秩”的语言但本质没变。3. 高斯消元的真正作用把结构从噪声里剥出来刚学的时候我以为高斯消元就是“解方程的手法”重学之后我更愿意把它理解成一个信息压缩过程。一堆方程混在一起时你看不出哪些是独立的、哪些是重复的、哪些是矛盾的消元的过程就是逐步把这些信息剥开最后剩下的非零行数就是这个系统真正的“有效信息量”。这个过程里每一个操作都必须可逆否则信息就丢了。3.1 初等行变换凭什么不改变解集消元只用三种操作交换两行、某行乘以一个非零常数、某行加上另一行的倍数。这三种操作的共同点是——它们都可以原样撤销。交换两次就换回来乘 k 再乘 1/k 就还原加了一行再加它的相反数就还原。可逆意味着它是一一对应的映射不会把两个不同的解合并成一个也不会凭空造出新解。用矩阵的语言说更清楚。每一种行变换都等价于在左边乘上一个可逆矩阵 E行变换对应的左乘矩阵是否可逆交换第 i、j 行单位矩阵交换第 i、j 行是它自己是自己的逆第 i 行乘 kk≠0单位矩阵第 i 个对角元改成 k是逆是乘 1/k第 i 行加上第 j 行的 k 倍单位矩阵的 (i,j) 位置填 k是逆是填 −k关键在于如果 E 可逆那么 Ex 0 只有零解所以 EAx 0 和 Ax 0 的解集完全一样。对增广矩阵也成立Ax b 和 EAx Eb 是同一组约束的两种写法。这就是为什么整个消元过程可以放心地做下去——你做的每一步都在换一副“眼镜”看同一个系统系统本身没动。反过来看也有些操作是绝对不能做的某行乘 0信息直接丢失不可逆、把两行相加的结果覆盖到其中一行而没记录这倒没问题因为可逆、两边同时平方这不是线性操作会引入增根。理解了“可逆”这条底线你就不会在解方程时犯那些莫名其妙丢解、增解的错误。3.2 阶梯形做到哪一步可以停这里有个很实用的区分很多人包括当年的我是含糊的行阶梯形每个非零行的首个非零元主元在上一行主元的右边全零行放在最下面。做到这一步已经足够判断解的情况了。行最简形在阶梯形基础上每个主元都化成 1并且主元所在列的其他元素全化成 0。做到这一步解可以直接读出来不用回代。什么时候停我的经验是判断“有没有解、有几个解”做到阶梯形就够要写出解的表达式做到最简形更省事。手算的时候我倾向于直接做到最简形因为回代那一步特别容易抄错符号尤其是变量多的时候回代的出错率比多做几次行变换高得多。另外有一个常被忽略的点行最简形是唯一的而行阶梯形不唯一。也就是说同一组方程你和别人做出来的阶梯形可能长得不一样但最简形一定一致。所以如果要在笔记里记录“标准答案”记最简形如果只是自己推做到阶梯形就往下走也行。3.3 主元、自由变量以及解的自由度从哪来主元是每一行第一个非零元所在的列。有主元的列叫主元列没主元的列叫自由列自由列对应的变量就是自由变量。自由变量的个数 未知数个数 − 主元个数这个差值就是解的“自由度”——解集是一个几维的仿射子空间。为什么自由变量可以随便取因为当你把它当成参数留在式子里时主元变量就被它唯一确定了。从几何上看自由列意味着这一列能被前面的主元列线性组合出来所以它在提供“新方向”这件事上是冗余的你可以沿着这个冗余方向任意滑动而不改变结果。举个更极端的例子如果一个系统的系数矩阵是1 2 3 2 4 6两行成比例主元只有一个自由变量有两个解集是一条平面如果相容的话。这时候你手里的信息其实只有一条约束另外两个维度全是自由的。这个结论在建模时非常有价值——它告诉你凭现有数据根本定不下来唯一的答案你需要补充约束正则项、先验知识、额外的测量而不是反复调求解器。3.4 手算和代码互验我的固定流程手算不能省因为手算建立的是“手感”但代码也不能不用因为它是唯一可靠的验算手段。我的流程是三步**第一步手算到最简形写出参数化解。**这一步必须动笔不能在心里过。**第二步用数值库验证秩和特解。**以第 2.3 节那个系统为例import numpy as np A np.array([[1., 2., 1.], [2., 5., 3.], [3., 7., 4.]]) b np.array([3., 7., 10.]) print(np.linalg.matrix_rank(A)) # 2.0 print(np.linalg.matrix_rank(np.column_stack([A, b]))) # 2.0秩相等说明相容 x, residuals, rank, sv np.linalg.lstsq(A, b, rcondNone) print(x, rank)这里有个现象值得一提如果直接对 A 调np.linalg.solve程序会抛异常因为 A 是奇异的。这正是“系数矩阵不满秩”在代码层面的表现。改用lstsq就能拿到一个解输出大概在[1, 1, 0]附近。它给的是最小范数解——在所有满足 A x b 的向量里挑长度最短的那个。你可以自己验证通解 (1t, 1−t, t) 的长度平方是 (1t)²(1−t)²t² 3 3t²显然 t 0 时最短正好就是 (1,1,0)。**第三步用符号计算核对精确形式。**浮点数只能告诉你“大概是多少”符号计算才能确认“自由度是不是 1、参数化形式对不对”import sympy as sp x, y, z sp.symbols(x y z) sol sp.linsolve([x 2*y z - 3, 2*x 5*y 3*z - 7, 3*x 7*y 4*z - 10], (x, y, z)) print(sol) # 形如 {(t 1, 1 - t, t)}输出是一个含参数的集合参数个数就是自由度。这种核对方式比肉眼检查可靠得多尤其是 4×5、5×6 这种规模手算极容易漏。注意lstsq返回的是最小范数解不是“特解”本身。如果你需要的是和手算一致的那组特解比如令自由变量全取 0要么自己按 RREF 回代要么在代码里显式地把自由变量置零再解主元方程。这两者不要混着用否则验算时会被“对不上”吓一跳。3.5 数值上的坑主元太小误差会被放大一万倍手算时我们默认“数就是数”但实际跑数值计算时选哪个做主元会显著影响精度。原因很简单消元时的乘数是“被消元 / 主元”主元越小乘数越大原方程里的舍入误差就会被放大同样的倍数。看这个系统1e-8·x₁ x₂ 1 x₁ x₂ 2如果机械地拿第一行第一列做主元乘数是 1 / 1e-8 1e8。第二行减去第一行的 1e8 倍之后两个系数分别变成 1 − 1 0 和 1 − 1e8 ≈ −1e8右边的 2 − 1e8 也接近 −1e8。两个大数相减得到一个小数有效数字大幅流失最后解出来的 x₁ 可能只有一两位可信。但如果一开始就交换两行拿系数为 1 的那行做主元整个过程风平浪静没有任何大数相减。这就是列主元消去法每次在待消列里挑绝对值最大的元素换到主元位置的动机。主流数值库内部都做了这一步所以你自己写求解器时也别省。我的实际习惯是只要看到一个系数和同列其他系数相差三四个数量级以上就先做一次行交换。这不是洁癖是真吃过亏——早期我用自己写的小脚本解一个病态系统跑出来的结果和手算差了 30%排查了半天才定位到主元选择上。后来学乖了判断矩阵条件数比反复调参靠谱得多。4. 矩阵乘法那条“行乘列”规则为什么只能长成这个样子如果只能保留一个“重学收获”我会选这一条**矩阵乘法不是被定义的是被推出来的。**它之所以长成这样是因为我们要让“矩阵乘向量”恰好等于“列的线性组合”又要让“矩阵乘矩阵”恰好等于“两个变换的接连作用”。这两条要求一摆出来乘法规则就只有一种写法没有第二种可能。4.1 从复合变换倒推乘法的定义假设有两个线性变换先用 B 作用在向量上再用 A 作用。也就是先算 y Bx再算 z Ay合起来 z A(Bx)。既然每一步都是线性的合起来也一定是线性的那么一定存在一个矩阵 C 使得 z Cx。这个 C 就定义成 AB。按照这个思路C 的第 j 列是什么取 x e_j第 j 个分量是 1、其余是 0 的单位向量。先算 B e_j结果恰好是 B 的第 j 列再把它送进 A得到 A 乘以 B 的第 j 列。所以AB 的第 j 列 A 乘以 B 的第 j 列。这条规则换成元素写法就是那个熟悉的行乘列公式(AB)_ij Σ_k a_ik · b_kj看它不是天上掉下来的是“复合变换”这条要求逼出来的唯一结果。我建议每个人都自己推一遍这个结论推完之后乘法规则就再也不会忘了因为你记住的是理由不是符号。4.2 列视角矩阵乘向量就是列的线性组合把上面那条结论用在向量上就得到本节最重要的一句话A x x₁·(A 的第 1 列) x₂·(A 的第 2 列) … xₙ·(A 的第 n 列)这句话是整个线性代数的枢纽。它把“乘法”翻译成了“组合”于是“方程组有没有解”就等价于“b 能不能由 A 的列组合出来”。我第一次真正看懂这句话是在把第 2 节那个 3×3 例子重写了一遍之后x·(1, 2, 3) y·(2, 5, 7) z·(1, 3, 4) (3, 7, 10)这时候不需要任何消元你也能一眼看出为什么有无穷多解——第三列 (1,3,4) 恰好等于第二列减第一列 (2−1, 5−2, 7−3)它在“提供新方向”上是多余的。而右边的 (3,7,10) 恰好等于第一列加第二列乘以……你自己试两下就发现它其实就在前两列张成的平面里。所以整个问题被压缩成了二维的多出来的那一维随便取。这种“先看列之间的关系再动笔算”的习惯能省下大量时间。手算 3×3、4×4 的时候先扫一眼有没有明显的列线性关系往往比硬消元快得多。4.3 四种等价读法以及各自适合的场合同一句 AB至少有四种读法。它们算出来的东西完全一样但用起来各有场景读法具体含义什么时候用行乘列结果的第 i 行第 j 列等于 A 的第 i 行点乘 B 的第 j 列手算单个元素、写代码内层循环列的视角AB 的第 j 列 A 乘以 B 的第 j 列理解“先 B 后 A”的复合分析列空间行的视角AB 的第 i 行 A 的第 i 行乘以 B即 B 的行的线性组合分析行空间、做行化简外积求和AB Σ_k (A 的第 k 列) ⊗ (B 的第 k 行)秩的分析、低秩近似、分块计算第四种读法最容易被忽略但价值最大。它把一个 m×n 乘 n×p 的乘法拆成了 n 个“列乘行”的秩一矩阵相加。这意味着rank(AB) ≤ min(rank A, rank B)因为结果最多是若干个秩一矩阵的和而秩一矩阵加起来不会超过项数。这条不等式在很多地方会用到——比如你做降维用一个 k 维的中间层去近似一个大矩阵那近似的秩一定不超过 k。举个具体的小例子体会一下外积分解。设A [[1, 2], [3, 4]]B [[5, 6], [7, 8]]那么 AB 第一列⊗第一行 第二列⊗第二行(1,3) 与 (5,6) 组合得到 [[5,6],[15,18]](2,4) 与 (7,8) 组合得到 [[14,16],[28,32]]相加得 [[19,22],[43,50]]用行乘列验证左上 1×52×7 19右上 1×62×8 22左下 3×54×7 43右下 3×64×8 50。对上了。这个分解看起来啰嗦但它把“矩阵乘法为什么会增加秩的上限”讲得明明白白。4.4 交换律失效不是缺陷是几何事实AB ≠ BA这件事在算术里很反直觉在几何里却再自然不过。“先旋转 90 度再沿 x 轴拉长”和“先沿 x 轴拉长再旋转 90 度”画在纸上就是两个不同的结果。乘法不交换只是如实反映了变换顺序不可互换。给一个最小的反例两个都很好画A [[1, 1], [0, 1]] 保持 x 轴不动把上方往右推B [[1, 0], [1, 1]] 保持 y 轴不动把右边往上推AB [[2, 1], [1, 1]] BA [[1, 1], [1, 2]]两个结果不一样而且都能肉眼验证AB 的左上角是 2说明 x 方向被拉长了两次BA 的右下角是 2说明 y 方向被拉长了两次。同一个“推”的动作顺序一换被拉长的方向就换了。这也解释了一个常被忽略的事实矩阵乘法不交换但结合律成立。(AB)C A(BC)因为“先 C 再 B 再 A”这个顺序是确定的你从哪一头开始算中间结果最终效果一样。结合律成立让我们可以随意加括号优化计算顺序这在实现大规模乘法时非常关键。4.5 分块乘法把大问题拆成小问题当矩阵有明显的分块结构时可以直接按块做乘法规则和普通乘法一模一样只要保证块的维度对得上。比如把 A 按列分成两块、B 按行分成两块A [A₁ | A₂]B [B₁ ; B₂]那么 AB A₁B₁ A₂B₂。这其实就是外积分解的另一种写法。分块的价值在于两点一是可以把大矩阵拆成能塞进缓存的小块提升计算效率二是当某些块是零、是单位阵、是对角阵时可以直接跳过大量运算。举个实际会遇到的场景一个系统如果被写成[A₁₁ A₁₂] [x] [b₁] [ 0 A₂₂] [y] [b₂]这种上三角分块形式就可以先解 A₂₂ y b₂把 y 求出来再代回去解 A₁₁ x b₁ − A₁₂ y。原本一个大系统被拆成两个小系统规模一下子降下来了。这类结构在电路网络、结构力学、时序信号处理里非常常见认出它的存在比硬解快十倍。5. 用列空间和秩回答“有没有解”比解出来更重要前面几节做的事情说白了都是在为这一节铺路。真正到了工程里你遇到的系统往往大到没法手算甚至大到求解器都要跑很久。这时候最有价值的判断不是“解是多少”而是“这个系统结构如何”——满秩还是亏秩、相容还是矛盾、条件数好不好。这些判断都可以在不实际求解的前提下做出来靠的就是列空间和秩。5.1 列空间所有“能到达”的点的集合列空间的定义很朴素A 的所有列的线性组合构成的集合记作 Col(A)。它的几何意义是“这个变换能够到达的所有点的集合”。Ax b 有解等价于 b ∈ Col(A)一句话就说完了。这个说法比“消元消出来看看”高一个层次因为它给了你一个可以提前判断的工具。比如你先算出 A 的列空间是三维空间里的一个平面那么只要 b 不在这个平面上无论你用什么求解器、迭代多少次都不可能得到精确解。这时候正确的做法是改问题——要么检查建模是不是漏了变量要么退而求其次找最近点最小二乘。列空间的维数就是秩。所以“满秩”这件事的真正含义是**列空间铺满了整个目标空间任何 b 都能被拼出来。**对于方阵来说满秩就意味着任何 b 都有唯一解对于长方形矩阵如果行数大于列数方程比未知数多列空间永远铺不满只能对特定的 b 有解。5.2 秩的几种等价说法以及手算时怎么快速判断秩是那种“定义有好几个、必须都认识”的概念。我整理了一下至少有五种等价说法任何一条成立其余全成立说法具体表述适用场合主元个数行阶梯形中非零行的数目手算、教学列空间维数线性无关的列的极大数目分析数据冗余行空间维数线性无关的行的极大数目分析约束是否重复最大非零子式阶数存在 r 阶子式非零所有 r1 阶全为零理论证明、小矩阵手算奇异值中非零的个数数值计算下的实际秩判定处理浮点数据手算小矩阵时最快的是第一种直接消成阶梯形数非零行。但对于那种“看起来满秩、其实差一点点”的矩阵手算很容易漏。这时候看第五种更靠谱——数值上我们不会问“是不是严格为零”而是问“有多少个奇异值大于某个阈值”。这个阈值怎么定是个经验活通常取最大奇异值乘以机器精度再乘个系数。举个具体例子判断这个矩阵的秩1 2 1 2 5 3 3 7 4肉眼先扫一遍第三行 第一行 第二行逐元素相加123257134。这一眼就说明三行线性相关秩最多是 2。再看前两行显然不成比例所以秩恰好是 2。整个过程不用动笔比消元快得多。这就是“先看关系再动手”的价值。再看增广矩阵如果右端项是 (3, 7, 10)那么 3 7 10右端项也满足同样的线性关系说明整个增广矩阵的秩仍然是 2和系数矩阵相等系统相容。如果右端项换成 (3, 7, 11)那么增广矩阵的秩就变成 3严格大于系数矩阵的秩 2系统矛盾无解。5.3 零空间那些“被压成零”的方向零空间 N(A) 是所有满足 Ax 0 的向量构成的集合。它的几何意义是“被这个变换压扁到原点的方向”。在解方程组时零空间就是齐次解在参数化解里它就是那个可以任意伸缩的方向。零空间和自由变量是同一件事的两种说法。自由变量的个数等于零空间的维数。这件事有一个非常漂亮的定量关系叫秩—零化度定理dim N(A) rank(A) nn 是列数也就是未知数个数为什么成立因为消元之后n 列被分成了两部分主元列和自由列。主元列的个数是 rank(A)自由列的个数是 n − rank(A)。每一个自由列都对应一个“把它自己设成 1、其他自由列设成 0、主元变量相应调整”的齐次解这些解互相线性无关正好张成零空间。所以零空间维数就是自由列个数定理得证。这条定理在实际工作里极其有用。比如你有一个 1000 个变量、800 个独立约束的系统那么零空间维数是 200意味着解集是一个 200 维的仿射子空间——解根本不唯一你有 200 个自由度可以调。如果你需要的是一组确定的参数就必须再加约束比如要求解的长度最小、或者要求某些分量取特定值。5.4 用一个例子把四个子空间串起来线性代数里有四个基本子空间列空间、零空间、行空间、左零空间。教材上一般分开讲学完还是散的。我用第 2 节那个例子把它们串一遍因为它们本来就是同一个矩阵的四个侧面。矩阵和右端项A [1 2 1; 2 5 3; 3 7 4]b (3, 7, 10)子空间记号张成它的向量维数直观含义列空间Col(A)(1,2,3)、(2,5,7)2变换能到达的所有点一个过原点的平面零空间N(A)(1,−1,1)1被压到原点的方向一条直线行空间Row(A)(1,2,1)、(2,5,3)2约束真正起作用的方向左零空间N(Aᵀ)(1,1,−1)1约束之间成比例的关系几个关系一一对上列空间维数 行空间维数 2这就是秩零空间维数 3 − 2 1自由变量一个左零空间维数 3 − 2 1对应于“三行之间有一个线性关系”那个线性关系就是 第一行 第二行 − 第三行 0写成向量就是 (1, 1, −1)相容的条件正好是 b 也要满足同样的关系(1,1,−1)·(3,7,10) 3 7 − 10 0成立所以有解。这一张表把整章的内容全串起来了。我特别想强调的是最后那条左零空间里的向量就是约束之间的“检验式”。每找到一组“行之间的线性关系”你就得到一个对 b 的检验条件。这个思想在数据校验、纠错编码、冗余传感器的交叉验证里到处都是——冗余的测量之间必然存在某种线性关系一旦实测数据破坏了这个关系就说明有传感器出问题了。6. 这一轮重学里我固化下来的几个动作写到这里公式讲得差不多了最后说点偏操作的。重学最大的收获未必是某个具体知识点而是几个能反复用的小习惯。这些习惯本身不值钱但坚持做几周之后看矩阵的感觉确实会变。6.1 每算一步强制翻译成一句话这条听起来很傻但极其有效。具体做法是每做完一次行变换在旁边的空白处写一句“这一步把什么消掉了、维度降了多少”。写不出来就说明这一步是机械操作停下来想清楚再往下走。这个习惯的副作用是手算速度会变慢一开始很不适应尤其是考试式的刷题。但坚持两三周之后速度会反超——因为你不再需要反复检查“我刚才到底做了什么”每一步都有据可查出错能立刻定位到具体那一步。我现在检查别人或者几天前的自己的推导第一眼就是看有没有这种批注没有的话基本可以断定是照抄步骤、没理解。6.2 手算打底数值验证符号兜底前面第 3.4 节讲过流程这里补一句为什么非要三段都做。手算建立的是结构感你知道每一步为什么成立数值验证建立的是防错网它能在几秒内告诉你结果对不对符号计算建立的是精确性它能把自由度的个数、参数化的形式一次说清楚。只用手算容易在小规模问题上自我感觉良好一到 5×5 以上就崩只用数值容易对着小数点后的一堆数字发懵不知道哪个是误差、哪个是真值只用符号算得慢而且大矩阵符号计算基本跑不动。三个一起用各管一段效率最高。还有一个细节数值验证时不要只验“解代回去成不成立”那是必要条件不是充分条件。真正该验的是秩——系数矩阵的秩、增广矩阵的秩以及两者是否相等。这三个数一报出来解的情况就定了比反复代回去可靠。6.3 一张常翻的误解清单下面这些是我自己踩过、也见过别人踩的坑隔一段时间就翻一遍。它们都不是计算错误而是理解层面的错位错了之后很难自查出来把“矩阵相等”理解成“元素逐个相等”就完事这没错但忽略了背后的含义——两个矩阵相等意味着它们作为线性变换完全等价元素只是其中一种可能的表示。认为消元会改变解集只要三种行变换都做对了解集不变。如果算出来的解代回去不成立问题一定出在某一步算错而不是“方法有问题”。把自由变量理解成“随便取的常数”它可以随便取但每取一组值就确定一个不同的解不同的取值对应解集里不同的点不是“取什么都一样”。认为方阵一定可逆方阵可逆的充要条件是满秩也就是行列式非零。行列式为 0 的方阵在几何上把空间压扁了一个维度不可逆。把秩当成一个“算出来的数字”秩的核心是维数是结构信息。看到一个秩亏的矩阵第一反应应该是“哪一列是冗余的、冗余关系是什么”而不是“秩等于几”。用浮点计算判断秩时直接和 0 比较数值计算里几乎不会出现严格的 0判断秩要看奇异值相对大小配合条件数一起看。以为 AB 0 就意味着 A 0 或 B 0这是标量代数的直觉在矩阵里完全不成立两个非零矩阵相乘得零矩阵是常事秩一矩阵乘自己的正交补就是零。这张清单我会一直往下加。每次遇到“这个结果怎么和我预想的不一样”先别急着怀疑代码回头翻一遍清单八成能对上号。说到底这一轮重学让我最踏实的一点是线性代数不是一堆需要记住的运算规则而是一套把高维问题翻译成空间语言的工具。同一个方程组行视角看是求交列视角看是问能不能拼出来秩的语言看是问结构够不够。三种说法描述同一件事能自由切换才算真的会了。下一篇我打算顺着这个思路往下走把矩阵的逆、行列式和可逆性这几件事放到“变换能不能撤销”这个框架里重新捋一遍那部分我之前也一直是半懂不懂的状态。