首页/新闻资讯/正文详情

拆解人工神经网络:手算前向传播与反向传播,numpy实现XOR

发布时间:2026/11/18 4:28:40 来源:云帆数科 栏目:资讯中心
拆解人工神经网络:手算前向传播与反向传播,numpy实现XOR
1. 剥掉包装人工神经网络其实就是一摞可调参数的筛子1.1 先把名词拆开别被“神经网络”四个字吓住“人工神经网络”这个说法自带一层神秘滤镜很多人第一次听到会下意识觉得这是某种仿生黑科技得先修完神经科学才能碰。实际情况恰恰相反它是一套极其朴素的数学结构核心动作只有三个——乘加、过函数、比误差。把输入数字乘上几个权重、加在一起、再经过一个非线性函数压一下输出一个结果拿结果和正确答案比一比算出差多少然后按差值的方向把权重拧一拧。就这么三步反复几万次网络就“学会”了。我在社区里回答过不少类似问题问的人背景五花八门有做后端想转方向的有做数据分析想往建模走的也有纯粹好奇的。他们的共同点不是数学不好而是被术语墙挡住了张量、反向传播、梯度消失、激活函数每一个词单独看都懂串起来就懵。这篇内容要做的事就是把墙拆掉从最底层的数字运算开始一层一层搭到能跑起来的完整网络。看完之后你应该能做到三件事手算一个单神经元的前向传播说清楚“训练”这个词在数学上到底指什么用几十行代码从零实现一个能解 XOR 的两层网络不依赖任何深度学习框架。适合谁看完全没接触过神经网络的零基础读者能顺着读下来因为所有公式我都配了具体数字学过但没学透的人可以重点看第 4 章和第 5 章那里有反向传播的手工推导和完整的代码实现想带新人的老手可以把第 3 章的手算部分直接拿去当教学材料。整篇内容不需要微积分之外的前置知识链式法则我会现讲现用不假设你记得住。1.2 我为什么坚持让新手先手算一遍再碰框架现在入门太方便了三行代码就能定义一个网络几十行就能在标准数据集上刷出不错的准确率。方便是好事但也带来一个副作用很多人跑通了却不知道自己在跑什么。我见过不止一个同学模型不收敛的时候只会调学习率、换优化器、加层数像在老虎机前面拉杆完全靠运气。我自己的做法是反过来的新东西先手算小数再写小代码最后才上框架。手算的意义不在于算得多准而在于强迫你把每一步的维度、每一处运算都走一遍。举个具体例子很多人第一次写反向传播会卡在“为什么这里要转置矩阵”上框架里自动求导一包这问题就被藏起来了等到哪天要做自定义算子、要改损失函数、要排查梯度为 NaN 的时候藏起来的问题会一次性全冒出来。注意手算不是目的是手段。你不需要手算一个 100 层的网络那是自虐。手算的价值集中在单神经元和两层小网络这两个规模上把这两个规模吃透剩下的都是同一套逻辑的重复。另外一个经常被忽略的点是神经网络本质上是个函数拟合器。它不“理解”任何东西只是在用一堆参数逼近一个从输入到输出的映射关系。这句话听起来平淡但它能帮你避开很多莫名其妙的预期——比如为什么会话模型会一本正经地胡说八道为什么模型在训练集上完美、换个分布就崩。它不是在想它是在插值。1.3 一个筛子的类比信号怎么被一层层过滤如果让我用一句话解释神经网络在干什么我会说它把输入信号倒进一摞筛子每层筛子孔的大小和形状都是可调的调节的目标是让最后漏出来的东西尽量接近你想要的。这个类比值得展开讲因为它几乎对上了每一个技术名词。第一层筛子可能只关心“左边重还是右边重”这种粗粒度特征它的孔比较大过筛的是一些基础模式。第二层筛子接收第一层的输出开始组合出稍微复杂一点的模式比如“左上和右下同时亮”——这正是 XOR 这类问题需要的。层数越多能组合出的模式越抽象。图像识别里的经典现象就是这么来的浅层学到边缘和色块中层学到纹理和部件深层才学到“这是一只猫”。权重决定每个孔对输入信号的敏感程度。某个输入重要权重就大筛子对这个方向就敏感不重要权重就趋近于零信号基本被忽略。偏置相当于把筛子整体挪一挪位置控制这个神经元“默认有多容易被激活”。有些神经元天生迟钝需要很强的输入才响应有些很敏感稍微有点信号就亮。这个“迟钝程度”就是偏置调的。训练则是另一回事你不知道每种形状的筛子该开多大孔于是拿一堆已知答案的样本反复试试完看漏出来的东西和正确答案差多少再根据差值微调每个孔的尺寸。调一次改一点点调几千几万次筛子就成型了。这个类比有一个地方需要修正避免你产生错误直觉筛子的孔不是独立存在的它们互相耦合。改第一层某个权重会顺带改变第二层看到的东西进而改变第三层的输出。这种连锁反应正是为什么需要反向传播来算梯度——你不能孤立地评价任何一个权重的好坏只能在一个完整的前向过程结束后回头把责任一层层分下去。2. 从生物神经元到数学神经元一次必要的简化2.1 生物侧发生了什么我们只抄了哪一部分真实的生物神经元干的事情比我们模型里写的复杂几个数量级。树突接收来自上千个突触的信号这些信号有兴奋性的也有抑制性的在胞体内做时间和空间上的整合达到轴突丘的阈值才触发动作电位然后沿轴突传导、在突触末端释放神经递质。整个过程中还牵涉离子通道动力学、神经调质、可塑性规则随便挑一个分支都够研究一辈子。人工神经元只抄了一个极简的骨架多个输入按不同权重汇聚、求和、超过某个条件就产生输出。就这些。没有离子通道没有时间动力学没有脉冲发放频率没有任何一个环节试图还原生物细节。这个取舍不是偷懒是有意的。上世纪中叶那批研究者一开始确实想做“大脑模型”但很快发现两个问题一是生物神经元的细节太多算不动也说不清二是当目标只是做模式识别和函数逼近时极简模型已经足够好用。于是方向就从“模拟大脑”转向“构建可训练的计算单元”名字里的“神经”两个字更多是历史遗留你完全可以把它理解成“加权求和单元”。我在带新人的时候会强调一句不要把神经网络的效果归因于它像大脑。它现在能做的事靠的是一层层非线性变换加上大规模参数优化和生物智能的运作机制之间的关系目前还停留在启发层面。把它当成一个数学工具心态会稳很多也更容易定位问题。理解了这一点后面看到“注意力机制”“残差连接”这些听起来很生物的词你就不会被名字带偏会习惯性地去问它实际做的是什么运算2.2 数学神经元的三件套加权求和、加偏置、过激活一个标准的人工神经元运算可以拆成三步我用具体数字走一遍。假设这个神经元有两个输入x1 1.0x2 0.5两个权重 w1 0.5w2 0.3偏置 b 0.1。第一步加权求和z w1*x1 w2*x2 b 0.5*1.0 0.3*0.5 0.1 0.5 0.15 0.1 0.75这一步的含义很直白每个输入按重要程度打折后加起来再加一个基准值。权重为正是兴奋为负是抑制权重接近零等于这个输入基本被忽略。第二步过激活函数。用最经典的 sigmoida σ(z) 1 / (1 e^(-z)) 1 / (1 e^(-0.75)) 1 / (1 0.4724) 0.6792sigmoid 把任意实数压到 (0, 1) 区间。z 很大时输出趋近 1z 很小负得很多时趋近 0z 0 时正好 0.5。你可以把它理解成一个“软化版的门”不是硬邦邦地开或关而是连续地给出一个 0 到 1 之间的“开启程度”。第三步输出传递。这个 0.6792 就是神经元的输出它会成为下一层神经元的输入之一。三步合起来一个神经元就干了一件事把多个输入按权重混合得到一个标量再把这个标量重新映射到一个合适的范围。整个网络就是成千上万个这样的单元按层组织起来前一层所有神经元的输出全连接到后一层每个神经元的输入端。这里有个容易搞混的细节偏置 b 不是可选的装饰。设想所有输入都是 0如果没有偏置z 恒为 0经过 sigmoid 后输出恒为 0.5这个神经元就废了。有了偏置即使输入全零神经元仍然可以输出不同的值。从几何角度看权重决定超平面的方向偏置决定这个平面离原点多远。少了偏置所有决策边界都必须过原点表达能力会被砍掉一大截。这也是为什么你在代码里几乎总能见到biasTrue这个默认参数。2.3 激活函数必须非线性这条红线不能碰初学者最常见的疑问之一是既然加权求和已经有了为什么不直接把 z 输出非要套一个 sigmoid答案藏在一个代数事实里线性运算的复合仍然是线性运算。假设你不用激活函数第一层算 z1 W1·x b1第二层算 z2 W2·z1 b2代入展开z2 W2·(W1·x b1) b2 (W2·W1)·x (W2·b1 b2)括号里的东西都是常数矩阵把它记作 W 和 b你会发现 z2 W·x b——十层网络塌缩成一层。堆多少层都没意义表达能力等价于一个线性回归。这就是为什么非线性激活是深度网络的命门没有它“深度”只是个营销词。这也能直接解释为什么单层感知机解不了 XOR。XOR 的四个样本点在二维平面上是 (0,0)→0、(0,1)→1、(1,0)→1、(1,1)→0你画一画就知道没有任何一条直线能把两个类别分开。而线性分类器的决策边界就是一条直线所以它必然失败。这个坑在历史上真实卡了研究者十几年直到多层网络 非线性激活的组合出现才被绕过去。第 5 章我会用代码让你亲眼看到同样的数据加一个隐藏层就能解。常用激活函数就这么几个各自的脾气值得提前摸清激活函数表达式输出范围主要特点典型问题Sigmoid1/(1e^-z)(0,1)输出像概率平滑易解释两端饱和梯度趋近 0Tanh(e^z-e^-z)/(e^ze^-z)(-1,1)零中心收敛通常快于 sigmoid同样存在两端饱和ReLUmax(0, z)[0,∞)计算极快正区间不饱和负区间梯度为 0可能“死亡”Leaky ReLUmax(αz, z)(-∞,∞)给负区间留一点梯度多一个超参 αSoftmaxe^zi/Σe^zj(0,1) 且和为 1多分类输出概率分布只在输出层用表格里“饱和”这个词值得多说两句。sigmoid 在 z 很大或很小时曲线几乎是平的导数接近 0。而反向传播是靠导数把误差往回传的导数接近 0 意味着误差传不回去浅层的权重几乎不更新——这就是经典的梯度消失。层数一多这个问题会指数级放大。ReLU 之所以在过去十年成为默认选择很大程度上就是因为它在大片区域内导数恒为 1误差能顺畅地传回浅层。注意激活函数的选择没有绝对最优解。做二分类输出层用 sigmoid多分类输出层用 softmax中间层现代网络基本默认 ReLU 及其变体。如果你的网络训练不动、损失完全卡住先把中间层的 sigmoid 换成 ReLU 试一次这个动作能救回相当一部分“莫名其妙的失败”。3. 手算一个网络前向传播到底在算什么3.1 第一个算例两输入一输出的完整数字上一节算了一个神经元。现在把它放到一个小网络里看看“层”是怎么接起来的。设想一个结构输入层 2 个节点隐藏层 3 个节点输出层 1 个节点。输入是 x [1.0, 0.5]。隐藏层三个神经元各自的权重和偏置我随手给一组神经元 h1w [0.5, 0.3]b 0.1神经元 h2w [-0.2, 0.8]b -0.3神经元 h3w [0.1, -0.4]b 0.2逐个算。h1 我们在上一节已经算过z1 0.75a1 0.6792。h2z2 -0.2*1.0 0.8*0.5 (-0.3) -0.2 0.4 - 0.3 -0.1 a2 σ(-0.1) 1/(1e^0.1) 1/(11.1052) 0.4750h3z3 0.1*1.0 (-0.4)*0.5 0.2 0.1 - 0.2 0.2 0.1 a3 σ(0.1) 1/(1e^-0.1) 1/(10.9048) 0.5249隐藏层输出是 a [0.6792, 0.4750, 0.5249]。这个三元组现在就是输出层那个神经元的“输入”。输出层神经元设权重 w [0.6, -0.5, 0.4]b -0.1z_out 0.6*0.6792 (-0.5)*0.4750 0.4*0.5249 - 0.1 0.4075 - 0.2375 0.2100 - 0.1 0.2800 a_out σ(0.28) 1/(1e^-0.28) 1/(10.7558) 0.5695完整的前向传播就走完了从 [1.0, 0.5] 得到 0.5695。这个数字有什么意义如果你的任务是二分类它表示模型认为“正类”的概率是 56.95%还不到 0.5 以上多少是个很没底气的判断。和真实标签一比比如真实标签是 1误差就是 1 - 0.5695 0.4305训练要做的事就是调整所有那些权重和偏置让这个输出往 1 靠。手算这一遍的价值在于你会亲眼看到每一层的输出范围都被 sigmoid 限制住了。隐藏层的三个值全在 0.47 到 0.68 之间输出层在 0.57。这意味着后面接的层输入永远在 (0,1) 这个小区间里这会引出后面讲梯度消失时的一个关键结论。3.2 从单个神经元到一层向量化怎么省时间实际实现当然不会用 for 循环一个一个神经元地算。上面那三个隐藏神经元可以一次性算完z W·x b其中 W 是 3×2 的矩阵3 个神经元每个 2 个权重x 是 2×1 的列向量b 是 3×1。W 的三行正好是 h1、h2、h3 的权重W [[ 0.5, 0.3], [-0.2, 0.8], [ 0.1, -0.4]] b [ 0.1, -0.3, 0.2]矩阵乘法一次算完三个 z然后a sigmoid(z)逐元素作用。这就是向量化把“对每个神经元做一次相同的运算”变成“对整层做一次矩阵运算”。这件事不只是代码更短。在 CPU 和 GPU 上矩阵乘法都经过了极度优化能利用多核和缓存而 Python 层面的 for 循环每次迭代都有解释器开销慢一到两个数量级很常见。所以有句话在实现圈子里流传很广先用循环写对再用矩阵写快最后对比两者结果是否一致。这个流程我自己一直在用因为它同时兼顾了正确性和性能。再往上一层还可以把多个样本也堆成矩阵。假设一个批次有 N 个样本输入矩阵 X 是 N×2那么Z X·Wᵀ b # N×3 A sigmoid(Z) # N×3一个矩阵乘法处理整个批次这就是批处理的底层形态。你会看到Wᵀ这里出现了转置原因是习惯上把 W 定义为“输出维度×输入维度”而 X 是“样本数×特征数”两者要对齐就得转一下。这类形状对齐问题几乎每个手写实现的人都会栽一次我在第 5 章会专门列一个约定。3.3 参数量怎么数层数怎么算有两组数字初学者经常搞混层数和参数量。层数按惯例只数有权重的层。一个 2-3-1 的网络叫“两层网络”或者“一个隐藏层的网络”因为输入层只是把原始数据摆在那里没有任何运算。有人把它叫三层那是把输入层也算进去了容易和别人对不上建议统一按“有权重的层数”来数。参数量就是把所有可训练的权重和偏置加起来。还是 2-3-1第一层3 个神经元 × 2 个权重 6加上 3 个偏置 9第二层1 个神经元 × 3 个权重 3加上 1 个偏置 4合计 13 个参数用公式写从 n_in 到 n_out 的全连接层参数量是n_in × n_out n_out。这个公式在估算模型规模时非常有用。比如一个 1000 维输入、隐藏层 512、输出 10 的网络第一层就有 1000×512512 512,512 个参数第二层 512×1010 5,130总共五十多万。而同样结构如果输入是 224×224×3 的图片展平后约 15 万维第一层直接飙到七千多万参数——这就是为什么图像任务不能简单用全连接层堆得靠卷积来共享权重。理解参数量从哪来是判断“这个模型我跑不跑得动”的第一步。网络结构第一层参数第二层参数合计2-3-19413784-128-10100,4801,290101,7701000-512-10512,5125,130517,642150528-512-1077,070,3365,13077,075,466看到最后一行那个七千七百万了吗这就是为什么早期的图像模型参数量动辄上亿也是为什么卷积神经网络的出现被视作一次结构性突破——它靠局部连接和权重共享把参数量压下去好几个数量级。4. 网络怎么“学会”东西损失、梯度与反向传播4.1 损失函数给错误打分的那把尺子前向传播算出预测值 a接下来必须回答一个问题这个预测到底有多差把这个问题量化成一个数字就是损失函数。最直观的是均方误差MSEL (1/N) · Σ (a_i - y_i)²它把每个样本的预测和真实值相减、平方、求平均。平方的作用是让正负误差不互相抵消同时放大大误差的惩罚——差 2 的样本贡献 4差 4 的样本贡献 16模型会更用力地去修那些离谱的预测。二分类任务更常用的是交叉熵配合 sigmoid 输出L -(1/N) · Σ [ y_i·log(a_i) (1-y_i)·log(1-a_i) ]这个公式初看有点绕拆开看很干净。当 y 1 时第二项消失L -log(a)。a 越接近 1-log(a) 越接近 0损失越小a 接近 0-log(a) 会迅速飙到很大。当 y 0 时对称地看第一项。所以它惩罚的是“对自己错误的判断过于自信”模型说 99% 是正类结果真是负类那损失会大得吓人。为什么二分类更偏爱交叉熵而不是 MSE一个实操层面的理由是梯度形态。sigmoid MSE 的组合梯度里会带一个 σ(z) 因子当输出饱和a 接近 0 或 1时这个因子趋近 0梯度几乎消失模型在“自信地错”的时候反而学不动。而 sigmoid 交叉熵的梯度会把这个因子约掉简化成a - y误差多大梯度就多大学得干脆。这一点我在实际项目里验证过不止一次。早期做一个二分类的小任务用 MSE 训练损失降到一个平台期就再也不动了看预测值全是 0.98 这种自信的错误。换成交叉熵同样的网络结构和学习率二十轮之内就冲过去了。这个坑值得记在心里输出层的激活函数和损失函数是绑定的一对sigmoid 配交叉熵softmax 配多类交叉熵别乱搭。4.2 梯度下降蒙眼下坡的三板斧有了损失问题就变成一个优化问题在一大片参数构成的超高维空间里找到让损失最小的那个点。梯度下降的思路用一句话说就是站在当前点上摸清哪个方向最陡往反方向迈一小步重复。就像蒙着眼站在山坡上你看不见全局但能用脚感受到哪边往下倾斜然后朝那个方向走。数学上“哪个方向最陡”由梯度给出。梯度是一个向量每个分量是损失对某个参数的偏导数指向损失上升最快的方向。所以要下降就往梯度的反方向走w_new w_old - lr · ∂L/∂w这里的 lr 是学习率控制每步迈多大。实际操作中计算梯度用的是哪个范围的样本分出了三种变体方式每步用多少样本优点缺点批量梯度下降全部梯度方向准下降平稳数据量大时一步都走不动随机梯度下降1 个极快有随机性可跳出局部坑方向抖得厉害损失曲线很毛小批量梯度下降32~256 个兼顾速度与稳定需要选 batch size实践中几乎清一色用第三种。batch size 的选择有讲究太小比如 4梯度噪声大训练曲线抖太大比如 4096显存吃紧而且泛化性能有时反而下降。32 到 256 是比较安全的起点显存富余就往大调训练不稳就往小调。这是经验值不是定理具体还得看你自己的数据。4.3 反向传播链式法则的一次漂亮套用现在到整个体系里最容易被讲玄乎的部分。反向传播听着高深本质就是链式法则的工程化实现目的是高效地算出损失对每一个参数的偏导数。先用一个单神经元把链条走完。设z w·x b a σ(z) L ½(a - y)²要求 ∂L/∂w。按链式法则∂L/∂w ∂L/∂a · ∂a/∂z · ∂z/∂w三段分别算∂L/∂a a - y ∂a/∂z σ(z) a·(1-a) ∂z/∂w x合起来∂L/∂w (a - y) · a(1-a) · x代入第 3 章的数字w 0.5x 1.0y 1.0a 0.6792。a - y -0.3208 a(1-a) 0.6792 × 0.3208 0.2179 ∂L/∂w -0.3208 × 0.2179 × 1.0 -0.0699取学习率 0.1 更新w_new 0.5 - 0.1 × (-0.0699) 0.50699验证一下损失是否真的降了。更新后用同样的 x 和 b 重新前向z 0.50699 × 1.0 0.3 × 0.5 0.1 0.75699 a σ(0.75699) 1/(1e^-0.757) ≈ 0.6807 L ½(0.6807 - 1)² ½ × 0.10196 ≈ 0.05098更新前的损失是 ½ × 0.3208² ≈ 0.05146。降了大约 0.00048。降幅很小但方向是对的——这正是“一小步”的含义。步长小是为了保证每次都往好的方向走代价是慢。为什么叫“反向”因为在多层网络里梯度是从输出层往输入层倒着算的。输出层先算出误差然后把这个误差按权重的比例分配给上一层上一层再往下分。这样做的好处是计算复用每个神经元只需要把自己收到的误差汇总一次再乘上本地导数往前传整体复杂度跟前向传播是一个量级。如果对每个参数单独做数值微分把参数加个极小数、重跑一遍前向、看损失变化参数量一多就彻底跑不动了。分配这个词值得再强调一下。假设输出层某个神经元的误差是 e它和上一层的三个神经元分别有连线权重是 w1、w2、w3。那么上一层这三个神经元各自“该背多少锅”就是按 w 的大小来分的——权重大的连线上传过去的误差也多。这个机制很符合直觉一根线越重要它的预测偏差造成的后果就越严重。4.4 学习率最容易被忽略也最容易翻车的旋钮学习率看起来是最无聊的超参数一个数字而已。但在我见过的训练失败案例里它的嫌疑程度排得上前二。学习率太大每步迈得太远会直接跨过谷底在两侧来回蹦损失曲线呈现剧烈的锯齿甚至越来越大最终发散成 NaN。学习率太小方向是对的但走得像蜗牛跑一万轮损失还在高位晃你会误以为模型没救其实是没走完。判断方法很直接盯着损失曲线看前几十轮。正常的曲线应该是快速下降然后逐渐变缓。如果一开始就上蹿下跳、甚至往上走学习率砍到 1/10如果曲线平得像一条直线学习率乘 10 试试。几个常见的经验起点手写小网络、sigmoid/tanh 激活0.1 到 0.5现代网络配 ReLU0.001 到 0.01配合 Adam 这类自适应优化器0.001 是默认值出错概率低Adam 值得单独提一句。它给每个参数维护了各自的学习率根据历史梯度自动调节步长所以对初始学习率不那么敏感。新手起步阶段用 Adam 会省掉不少调参的折磨代价是最终精度有时不如调好的 SGD。还有一个技巧是学习率衰减训练初期用大步快走后期用小步精修。常见做法是每过若干轮把学习率乘 0.1或者用余弦退火平滑下降。道理跟找东西一样大范围粗找的时候动作可以大最后确认位置的时候得轻手轻脚。我踩过最典型的一次坑一个三层网络怎么都训不动损失在 0.68 附近纹丝不动。排查了两小时最后发现学习率写成了 0.0001比应该用的值小了三个数量级。改回 0.01 之后三十轮就收敛了。教训是损失完全不动的时候先怀疑学习率和数据标准化再怀疑模型结构后面这两个出问题的概率低得多。5. 用 numpy 从零撸一个能跑的网络5.1 形状约定先把张量尺寸对齐再写代码我见过太多人卡在形状错误上报错信息是“shapes not aligned然后翻来覆去试转置。避免这种情况的办法只有一个在动手写代码之前把所有张量的形状写在纸上。我用的约定是这样的输入 X形状 (N, D_in)N 是样本数D_in 是特征数权重 W1形状 (D_in, H)H 是隐藏层宽度偏置 b1形状 (1, H)隐藏层激活 A1(N, H)权重 W2(H, D_out)偏置 b2(1, D_out)输出 A2(N, D_out)这套约定的好处是前向传播写成A1 act(X W1 b1)是矩阵乘法形状自然对齐(N, D_in) (D_in, H) (N, H)。偏置 (1, H) 会自动广播到每一行这是 numpy 的广播机制不用手动复制。反向传播里的矩阵形状我也提前写下来避免临场推dA2(N, D_out)和 A2 同形dW2(H, D_out)和 W2 同形dA1(N, H)dW1(D_in, H)原则很简单每个梯度的形状必须和对应参数完全一致。如果不一致那一定是某处转置搞错了不用猜回去核对形状。顺带一提我习惯把输入数据的每一行当作一个样本这在机器学习圈里是主流约定。但也有些老代码用列向量一行一个特征。接手别人代码时第一件事就是确认这个约定不然会算出一堆看着合理实际全错的结果。5.2 前向与反向的核心几行下面这段代码不依赖任何深度学习框架只用 numpy。任务是 XORimport numpy as np np.random.seed(42) # 数据四个样本两个特征 X np.array([[0.0, 0.0], [0.0, 1.0], [1.0, 0.0], [1.0, 1.0]]) y np.array([[0.0], [1.0], [1.0], [0.0]]) def sigmoid(z): return 1.0 / (1.0 np.exp(-z)) def sigmoid_grad(a): # 输入是激活后的值 a不是 z return a * (1.0 - a) # 参数初始化 W1 np.random.randn(2, 4) * 0.5 b1 np.zeros((1, 4)) W2 np.random.randn(4, 1) * 0.5 b2 np.zeros((1, 1)) lr 0.5 n X.shape[0] for epoch in range(50000): # ---- 前向 ---- z1 X W1 b1 # (4, 4) a1 sigmoid(z1) z2 a1 W2 b2 # (4, 1) a2 sigmoid(z2) loss 0.5 * np.mean((a2 - y) ** 2) # ---- 反向 ---- # 输出层 d2 (a2 - y) * sigmoid_grad(a2) / n # (4, 1) dW2 a1.T d2 # (4, 1) db2 d2.sum(axis0, keepdimsTrue) # (1, 1) # 隐藏层 d1 (d2 W2.T) * sigmoid_grad(a1) # (4, 4) dW1 X.T d1 # (2, 4) db1 d1.sum(axis0, keepdimsTrue) # (1, 4) # ---- 更新 ---- W1 - lr * dW1 b1 - lr * db1 W2 - lr * dW2 b2 - lr * db2 if epoch % 5000 0: print(fepoch {epoch:6d} loss {loss:.8f}) print(\n最终预测) print(np.round(a2, 4).ravel()) print(真实标签, y.ravel().astype(int))反向那几行是全篇的重点我逐行解释一下意图。d2 (a2 - y) * sigmoid_grad(a2) / n—— 这是输出层的误差信号。a2 - y是损失对激活值的导数MSE 的情况sigmoid_grad是激活函数在本地贡献的导数除以 n 是因为损失定义里带了均值。dW2 a1.T d2—— 形状对账(4,4).T (4,1) (4,1)和 W2 一致。这一行的含义是“每个权重该承担多少责任”等于该权重连接的上游激活值乘以该权重连接的下游误差。所以公式是“上游激活的转置 乘 下游误差”这个模式在几乎所有反向传播代码里都能看到。d1 (d2 W2.T) * sigmoid_grad(a1)—— 这是误差回传到隐藏层。d2 W2.T把输出层的误差按权重比例分发回隐藏层四个节点上(4,1) (1,4) (4,4)对应隐藏层四个节点各自的误差。再乘上本地的 sigmoid 导数得到最终的梯度信号。db1 d1.sum(axis0, keepdimsTrue)—— 偏置的梯度比较特殊因为它对每个样本都产生了同样的影响所以要把所有样本的误差加起来。这一点经常被写错成d1.mean()或者忘记求和维度。5.3 用 XOR 做验收线性模型做不做得到跑一下这段代码你会看到损失从初始的零点几一路降到小数点后好几位最终预测大概是[0.01, 0.99, 0.99, 0.01]这个量级四舍五入后和标签完全对得上。这个结果本身平平无奇但它证明了一件重要的事刚才那二十几行代码做到了一个单层感知机永远做不到的事。第 2 章说过XOR 的四个点在平面上无法用一条直线分开线性模型无论怎么训练都只能达到 75% 的准确率——它必须做错一个。隐藏层加上非线性激活把输入映射到了一个四维空间在那个空间里四个点变得线性可分了输出层才得以完成分类。想更直观地感受这个差距你可以把隐藏层规模改成 0也就是直接W2接X跑一遍你会发现损失卡在 0.125 左右降不下去。这个 0.125 就是“必然错一个点”对应的最小损失。这个小实验我自己做过给不少新人演示过效果比讲十遍理论都好。还有个小细节值得注意初始化用了randn(2,4) * 0.5乘 0.5 是为了把初始权重压小一点。如果把权重初始化得太大sigmoid 一上来就饱和梯度几乎为零训练会异常艰难。这个经验在更深的网络里是必须遵守的纪律只是在小网络上容错高一些不容易暴露出来。5.4 训练日志怎么读上面代码每 5000 轮打印一次损失。这些数字不是用来欣赏的是诊断工具。我一般的读法是这样前几千轮应该能看到明显的下降比如从 0.15 掉到 0.02。如果没有说明学习率、初始化或者数据有问题先别急着训练五万轮先改这两个。中段下降速度变慢这是正常的说明已经接近这个结构能做到的水平在做精修。后段趋于平坦损失下降到小数点后三到四位对 XOR 这种四个样本的任务基本就是收敛了。如果损失曲线是震荡的先砍学习率。发散越来越大甚至 NaN的除了学习率还要检查分母上有没有零、有没有对负数取 log。完全不动的前面讲过了学习率太小或者数据没标准化这两个嫌疑最大。还有一种情况是损失平稳下降但最终很高比如卡在 0.125——这就是模型容量不够得加隐藏层宽度或者加层数。容量和训练是两回事前者决定能拟合多复杂的关系后者决定能不能找到最优参数。损失降不下去的时候先分清是“找不到”还是“装不下”。6. 新手最容易踩的坑与排查手册6.1 症状对照表损失不降到底怪谁排查神经网络的毛病最忌讳的是无脑改结构。先按症状定位缩小嫌疑范围再动手。症状最可能的原因优先尝试的修复损失完全不动学习率过小 / 数据未标准化学习率乘 10输入归一化到均值 0、方差 1损失震荡剧烈学习率过大 / batch 太小学习率除以 10增大 batch损失变成 NaN学习率过大 / 出现 log(0) / 除零降学习率给 log 加 eps 平滑损失下降但固定在一个平台模型容量不足 / 激活函数饱和加宽隐藏层sigmoid 换 ReLU训练集完美验证集崩过拟合加正则、加 dropout、扩数据训练集和验证集都很差欠拟合或数据有问题检查标签对齐加深加宽输出全是同一个值数据类别极不平衡 / 初始化有问题查类别分布换初始化方式前几轮正常后来越来越差学习率没衰减 / 数据有脏样本加学习率衰减抽查异常样本表格里“标签对齐”这一项值得单独说。我自己犯过一次特征和标签的顺序在两次读取中不一致训练了三天指标始终在随机水平附近。这类错误最恶心的地方在于它不会报错程序跑得好好的只是结果毫无意义。所以每接一份新数据我的第一步都是抽三条样本把特征和标签打印出来人工看一眼对不对。这个习惯救过我很多次。6.2 几条用时间换来的经验第一条从最小可跑配置开始。不要一上来就搭十层网络、上百万参数。先用一个能跑通的小模型把数据管道走通确认数据加载、预处理、标签映射都没问题再逐步加复杂度。这个顺序能让你在出问题时明确知道是哪一步引入的。第二条永远先跑一遍“傻子基线”。做二分类先看全猜多数类能得多少准确率做回归先看全猜均值能得多少误差。你的模型必须显著超过这条线否则说明还没学到任何有效模式。我见过准确率 92% 的模型在 92% 都是负类的数据上沾沾自喜那种场面挺尴尬的。第三条固定随机种子。训练结果有随机性不固定种子的话你改一处代码跑两次得到的差异分不清是改动带来的还是随机波动。调试阶段一律固定种子确认有效果了再换多个种子跑看稳定性。第四条梯度可以数值校验。手写的反向传播如果怀疑有错可以拿数值微分对一下把某个参数加一个极小的 ε重算损失再减 ε 重算用(L - L-) / (2ε)近似导数和你的解析梯度比。两者相对误差在 1e-6 量级就说明推导正确。这个技巧在写自定义层时几乎是必备的虽然慢但只跑一次成本可以接受。第五条不要迷信复杂度。很多实际问题用逻辑回归、梯度提升树这类方法就能解决得不错不需要上神经网络。神经网络擅长的是高维、非结构化、有大量数据的场景比如图像、音频、文本。表格数据、样本量几千条的任务先试试传统方法可能更快出结果也更好解释。最后再强调一点先把这篇里的手算和 XOR 完整跑一遍再去看框架文档。这中间隔的不是几个小时而是一层理解。很多人直接跳到框架用了半年还在靠试错调参问题就出在跳过了这一步。7. 下一步该往哪走7.1 从这层理解到真实项目还差什么把 XOR 跑通你已经摸清了神经网络最核心的骨架前向传播、损失计算、反向传播、参数更新。这套骨架在真实的深度网络里一个都没变变的是规模和细节。接下来最该补的是数据预处理。真实数据不像 XOR 那样天生规整尺度差异、缺失值、异常点、类别不平衡每一项都能让训练彻底失败。标准化、归一化、编码方式、训练测试划分这些东西的重要性在我看来超过模型结构本身只是它们不像“Transformer”那样有话题性容易被忽略。再往后是优化器和正则化。这篇里用的是最朴素的梯度下降实际项目里几乎都会换成 Adam 或者带动量的 SGD。正则化里的 L2 惩罚、dropout、早停是控制过拟合的常规武器值得单独花时间搞清楚它们各自在什么场景下起作用。然后是结构本身。全连接层处理不了图像的空间结构于是有了卷积处理不了序列的时序依赖于是有了循环网络和注意力机制。这些结构看着花哨底层仍然是这篇讲的加权求和加非线性激活只是连接方式变了。理解了基础单元看新结构时你会本能地去问它改了哪部分连接为什么这样改能解决原结构的问题最后是工程实践。显存怎么省、分布式怎么切、推理怎么加速、模型怎么部署这些是另一条技能线和算法理解同等重要。我自己学这块的路径是先手推一遍单神经元再写一遍两层网络然后跑通一个框架的最简示例接着把一个真实的小数据集从头到尾走一遍。中间卡住过很多次卡得最久的都不是理论而是一些琐碎的细节——形状没对齐、标签没打平、学习率写错一位。所以如果你现在正准备开始我的建议是先把这一篇的代码原样敲一遍跑通再改参数看会发生什么。改学习率、改隐藏层宽度、改激活函数观察损失曲线的变化。这种“改一处看一次”的循环比读十篇文章记得牢。

相关推荐

MediaPipe人体姿态估计:从原理到实践部署
MediaPipe人体姿态估计:从原理到实践部署

1. 人体姿态估计技术概述人体姿态估计(Human Pose Estimation)作为计算机视觉领域的重要研究方向,已经广泛应用于动作识别、人机交互、运动分析等多个场景。这项技术通过检测和定位人体关键点(如关节、五官等)&#xf… · 2026/11/16 10:48:24

Proteus中STM32单片机仿真工程搭建与外设调试排错
Proteus中STM32单片机仿真工程搭建与外设调试排错

简介:面向嵌入式初学者与电子设计入门者的STM32单片机Proteus仿真实践资源包,聚焦解决无实物硬件条件下如何验证软硬件设计的问题,适合课程实验、毕业设计预研与自学练手。压缩包共433个文件,约9.04MB,以290个C源文件与… · 2026/11/16 10:49:22

SQL约束详解:确保数据库完整性的关键机制
SQL约束详解:确保数据库完整性的关键机制

1. SQL约束基础概念解析 SQL约束是数据库管理系统中用于确保数据完整性和一致性的重要机制。作为数据库设计的核心要素,约束定义了数据必须满足的条件和规则。在实际开发中,合理使用约束可以显著减少数据异常和业务逻辑错误。 1.1 约束的本质与作用 约… · 2026/11/17 20:35:04

电工证第一次没年检怎么补救 上岗必备流程全解析
电工证第一次没年检怎么补救 上岗必备流程全解析

电工证第一次没年检怎么补救 上岗必备流程全解析 不知道去哪报名怕被中介坑?别急,这期我来给你说清楚, 电工证第一次没年检 该怎么补救,还有 上岗必备 流程,咱们一步一步来,不绕弯子。… · 2026/11/18 4:28:23

无电工证怎么上岗?千万别踩坑,学历不高也能考!
无电工证怎么上岗?千万别踩坑,学历不高也能考!

无电工证怎么上岗?千万别踩坑,学历不高也能考! 你是不是也这样想, 学历不高怕报不上名 ?特别是像我们这些在河南中小施工企业工作的负责人,常常遇到员工问:“我现在没有电工证,怎么才能上岗?”其实,这个问题在很多企业都存在,关键是你有没有找到… · 2026/11/18 4:28:23

怎么查询电工证小程序全流程办理指南
怎么查询电工证小程序全流程办理指南

电工证小程序怎么查?网上查询全流程不踩坑 怕考不过白交培训费,现在考电工证真的靠谱吗?很多人想着报个培训班,交完钱就等着拿证,结果一查资料,发现根本不是那么回事。你有没有想过, 怎么查询电工证小程序 ?网上查询是不是真的简单?今天我们就从… · 2026/11/18 4:28:23

2026河南最新政策下初级电工证笔试题怎么考?考前必须知道的干货
2026河南最新政策下初级电工证笔试题怎么考?考前必须知道的干货

2026河南最新政策下初级电工证笔试题怎么考?考前必须知道的干货 急需特种作业证才能上岗找工作?现在河南地区对电工证的要求越来越严格,尤其是2026年河南省安全生产监督管理局发布的新政策,对初级电工证的考试内容、考试形式、持证上岗条件都做了… · 2026/11/18 4:28:23

商丘市登高架设作业证郑州报考避坑指南:怕考不过白交培训费?看完这篇再报名
商丘市登高架设作业证郑州报考避坑指南:怕考不过白交培训费?看完这篇再报名

商丘市登高架设作业证郑州报考避坑指南:怕考不过白交培训费?看完这篇再报名 怕考不过白交培训费?别急,商丘市登高架设作业证虽然含金量高,但考不过真的会亏。很多人因为信息不对称、培训内容不匹配或者题库不全,结果花了钱却白忙活。本文从郑州培训机构… · 2026/11/18 4:28:23

池州市特种工考试真题与网上查询全攻略:怕考不过白交培训费?看这篇就够了
池州市特种工考试真题与网上查询全攻略:怕考不过白交培训费?看这篇就够了

池州市特种工考试真题与网上查询全攻略:怕考不过白交培训费?看这篇就够了 怕考不过白交培训费?你不是一个人。在池州市,每年都有不少准备报考特种作业操作证的工人,因为一次考试失败就白花了上千块培训费,心里直打鼓。特别是网上查询结果五花八门,真假… · 2026/11/18 4:27:23

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37

许昌电工证在哪复审 别踩坑怕考不过白交培训费
许昌电工证在哪复审 别踩坑怕考不过白交培训费

许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码