机器学习10：梯度下降算法分类-云帆数科

前言本文面向正在入门机器学习与深度学习优化算法的读者尤其是希望把「梯度下降」从公式真正落到工程实践的同学。我们将围绕一个核心问题展开如何在可接受的计算成本下稳定、高效地求出损失函数的最小值。读完本文你将能分清四大梯度下降变体的适用边界并在正规方程法与梯度下降法之间做出合理选型。目录一、梯度下降算法的四大分类2.1 全梯度下降 (Full Gradient Descent, FGD)2.2 随机梯度下降 (Stochastic Gradient Descent, SGD)2.3 小批量梯度下降 (Mini-batch Gradient Descent)2.4 随机平均梯度下降 (Stochastic Average Gradient, SAG)二、损失函数与模型优化策略3.1 损失函数的核心定义3.2 求解损失函数最小值的两种路径3.2.1 正规方程法 (Normal Equation)3.2.2 梯度下降法 (Gradient Descent)3.3 两种方法的对比与选型指南三、梯度的数学本质与更新机制一、梯度下降算法的四大分类梯度下降Gradient Descent, GD根据每次迭代所使用的样本数量主要分为以下四种变体2.1 全梯度下降 (Full Gradient Descent, FGD)机制每次迭代使用全部样本计算梯度并更新参数。特点利用全局信息方向精准但单次迭代计算量极大收敛速度极慢。2.2 随机梯度下降 (Stochastic Gradient Descent, SGD)机制每次迭代随机选择 1 个样本计算梯度并更新。特点计算极快但高度依赖单个样本。若抽中异常值噪声会导致梯度方向偏离结果不稳定。适用于数据已充分清洗、无异常值的场景。2.3 小批量梯度下降 (Mini-batch Gradient Descent)机制每次迭代随机选择一小批样本Batch Size 记为m mm进行计算。数学边界设总样本数为M MM。当m 1 m1m1时为 SGD当m M mMmM时为 FGD当1 m M 1 m M1mM时即为小批量梯度下降。特点兼顾了速度与稳定性避免了极端情况。是目前工业界与深度学习中最主流的选择。2.4 随机平均梯度下降 (Stochastic Average Gradient, SAG)机制维护一个梯度列表。每次随机选样计算梯度并存入列表更新时使用列表中历史梯度的均值。若再次抽中同一样本则用新计算的梯度替换旧值后再求均值。特点初期表现不佳、优化速度慢因初始梯度常设为0但随着训练轮次增加精度逐渐提升呈现“越老越吃香”的特性类比中医或资深财会从业者。因整体效率不如小批量下降实际使用较少。二、损失函数与模型优化策略3.1 损失函数的核心定义别名代价函数 (Cost Function)、目标函数 (Objective Function)。作用量化模型预测值与真实值之间的差异误差用于评估模型的好坏。核心原则损失函数值越小模型效果越好。线性回归常用均方误差 (MSE) 衡量即1 N ∑ ( y ^ − y ) 2 \frac{1}{N}\sum(\hat{y}-y)^2N1∑(y^−y)2。3.2 求解损失函数最小值的两种路径3.2.1 正规方程法 (Normal Equation)原理通过解析解一步直接求出最优参数向量W WW。前提条件特征矩阵的转置乘积( X T X ) (X^TX)(XTX)必须可逆。若存在强相关性或维度灾难导致奇异矩阵则无法求解。缺点计算复杂度高达O ( n 3 ) O(n^3)O(n3)计算量极大对噪声和特征共线性敏感。3.2.2 梯度下降法 (Gradient Descent)原理通过迭代逐步逼近损失函数的最小值。核心超参数学习率 (Learning Rate,α \alphaα)。通常取值范围为0.001 ~ 0.01。过大参数震荡甚至爆炸无法收敛。过小收敛速度极慢浪费时间。优势无需矩阵求逆计算资源消耗低普适性强。尤其适用于参数量达百亿级如 671B的深度模型此时正规方程在算力上完全不可行。3.3 两种方法的对比与选型指南维度正规方程法梯度下降法适用数据规模小数据集大数据集 / 高维特征数据质量要求需干净、无强共线性可容忍一定噪声求解方式一次解析计算多次迭代逼近是否需要学习率否是工程落地建议仅当数据量小且干净时考虑默认首选实战核心三、梯度的数学本质与更新机制梯度的方向指向函数值上升最快的方向。单变量 vs 多变量单变量函数梯度导数多变量函数梯度偏导数每个特征/权重列都有独立的梯度下降原理为了寻找最小值需沿梯度的反方向移动因此公式前带负号。参数更新公式θ n e w θ o l d − α ⋅ ∇ J ( θ ) \theta_{new} \theta_{old} - \alpha \cdot \nabla J(\theta)θnewθold−α⋅∇J(θ)θ o l d \theta_{old}θold当前参数点α \alphaα学习率决定步长大小∇ J ( θ ) \nabla J(\theta)∇J(θ)梯度决定下降方向负号-确保沿下降最快方向移动总结四大 GD 变体FGD 用全量样本、方向准但极慢SGD 单样本更新、快但受噪声影响大Mini-batch GD 在速度与稳定性之间取得平衡是工业界与深度学习的主流选择SAG 用历史梯度均值后期精度提升但整体效率不及小批量下降实际使用较少。两种求解路径的选型数据量小且干净、X T X X^TXXTX可逆时可用正规方程法一步求解数据规模大、特征维度高或存在噪声时梯度下降法是默认首选它无需矩阵求逆能支撑百亿级参数模型。学习率调参要点常用范围0.001 ~ 0.01过大导致震荡甚至发散过小则收敛缓慢。实践中建议从较小值起步结合损失曲线观察必要时配合学习率衰减策略逐步收紧步长。更新机制回顾梯度指向函数值上升最快的方向参数沿负梯度方向更新即θ n e w θ o l d − α ⋅ ∇ J ( θ ) \theta_{new} \theta_{old} - \alpha \cdot \nabla J(\theta)θnewθold−α⋅∇J(θ)。

企业数字化 ERP 产品动态

相关推荐

上海交大邹丹平团队：DiffDreamer 融合世界模型与可微仿真，四旋翼敏捷控制新思路

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/6 6:42:18

《springCloud极速通关》学习笔记

氧化镁：粉体物性与工业应用技术科普

涵江考电工证官方回应怕考不过白交培训费怎么破

涵江考电工证官方回应怕考不过白交培训费怎么破怕考不过白交培训费？这几乎是所有准备考电工证的人都有的顾虑，尤其是像你这样刚毕业的濮阳工程类学生，投入时间、精力和金钱，最后却因为一次考试失败而打水漂，真的让人崩溃。别急，官方回应已经出来了，… · 2026/11/7 4:07:45

电工证到期查询怎么操作？学历不高也能考，含金量不容小觑

电工证到期查询怎么操作？学历不高也能考，含金量不容小觑学历不高怕报不上名，这是很多想考电工证的学员最担心的问题。其实，电工证的含金量… · 2026/11/7 4:07:45

电工证延期换证模拟考试题库

电工证延期换证良心建议：转岗从业者必看的实操指南你现在缺一个电工证，缺得连面试资格都没了，对吧？别急，我懂你的焦虑。焦作的李师傅就是个典型例子，他之前在煤矿干了十年，现在转岗到建筑工地，结果一查，他的电工证已经过了有效期，连工地的门都进不… · 2026/11/7 4:07:45

甘肃省高压电工证报名怎么转？外省证书含金量还在吗？

甘肃省高压电工证报名怎么转？外省证书含金量还在吗？之前考的证在外省能不能转过来？这是很多在外地工作的甘肃电工最担心的问题。尤其是像你这样的郑州在职建筑工人，经常要跨省作业，证书能不能随人走，直接关系到你能不能顺利上岗、拿到工资。别急，今天… · 2026/11/7 4:07:45

深圳电工证民治报名有学历门槛？良心建议帮你破局

深圳电工证民治报名有学历门槛？良心建议帮你破局你是不是也在担心自己学历不高，根本报不了电工证？别急，我来告诉你真相。在深圳民治，电工证报名确实对学历有要求，但这个门槛其实没有你想象的那么高。很多人因为不了解政策，直接放弃，其实只要掌握正确… · 2026/11/7 4:07:45

东台哪里能考电工证真实经历：实操考试心里没底怕挂科怎么办

东台哪里能考电工证真实经历：实操考试心里没底怕挂科怎么办实操考试心里没底怕挂科，这几乎是每个准备考电工证的学员的共同心声。我自己去年就在东台报名考低压电工证，第一次面对接线、故障排查这些实操项目，手都在抖，怕一步错就全盘皆输。别担心，其实… · 2026/11/7 4:06:45

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

澳洲水电工证考试：证书过期了不知道怎么复审延期？电子证书怎么弄？

澳洲水电工证考试：证书过期了不知道怎么复审延期？电子证书怎么弄？证书过期了不知道怎么复审延期？别慌，很多人在拿到【澳洲水电工证考试】的电子证书后，一不小心就忽略了复审时间，结果证书失效，工作受阻，甚至被单位追责。今天就从【澳洲水电工证考试… · 2026/11/7 0:00:41

电工作业提示版通过率揭秘：怎么考才能一次过？

电工作业提示版通过率揭秘：怎么考才能一次过？怕考不过白交培训费？别急，今天我就从驻马店应届工程类毕业生的视角，带你全面了解电工作业提示版的考试流程、备考要点和真实通过率，帮你少走弯路、提高一次通过率。… · 2026/11/7 0:00:41

电工证年审报名千万别踩坑外省证转过来要搞清这几点

电工证年审报名千万别踩坑外省证转过来要搞清这几点之前考的证在外省能不能转过来？这个问题是很多电工从业者最关心的，特别是像你这样在商丘从事公路工程的人员，经常需要跨省流动，证书的有效性和可迁移性… · 2026/11/7 0:00:41

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

机器学习10：梯度下降算法分类

相关推荐

了解更多？预约专属演示