线性回归与逻辑回归核心解析：从最小二乘到梯度下降

简介这份线性回归算法小组报告PPT面向机器学习初学者与课程小组汇报场景围绕线性回归的核心概念、建模流程与参数求解展开可帮助读者快速梳理从工资与年龄预测贷款额度的案例到误差假设、似然函数、最小二乘法及模型评估的知识脉络。压缩包内共1个pptx文件约860KB页面以课堂讲解和小组展示为主线并延伸到梯度下降的批量、随机与小批量三种策略、学习率选择以及逻辑回归、Sigmoid函数和多分类Softmax等对比内容。已有320人学习适合需要制作算法汇报、复习线性回归推导或补充分类算法入门框架的读者参考。1. 从一次贷款额度说起线性回归算法到底在算什么银行批贷款通常不会凭感觉决定。它手里有一张表表里记录着每个申请人的年龄、月薪以及最终批下来的额度。有人会问能不能用年龄和工资估算出下一个人大概能拿到多少钱线性回归算法做的就是这件事在散点里找一条最贴合的直线把输入转换成输出。它简单到一个公式就能写完却是很多人接触机器学习的第一个模型也是后面一大串算法的地基。搞懂它你看待预测这件事的眼光会变——不再靠猜而是先假设一种关系再用数据去校准它。2. 为什么公式里一定有个误差项从高斯分布到最小二乘把贷款那张表摊开看年龄和工资是两个特征最终额度是标签。问题在于两个人的年龄、工资都一样批下来的钱会不会完全一样现实里不会。银行柜员当天心情、系统风控策略微调、材料齐全程度都会让结果有偏差。所以真实世界的关系从来不是一条干干净净的直线而是直线加上一层毛刺。误差项就是用来表达这层毛刺的。2.1 误差为什么被假设成高斯分布先看公式y θ₀ θ₁x₁ θ₂x₂ ε。x₁ 是年龄x₂ 是工资θ₁ 和 θ₂ 表示各自的影响力度θ₀ 是偏置项也就是所有特征都为零时的一个基础值ε 是误差。这个式子的潜台词是真正决定额度的是我们能观测到的特征加上我们观测不到的一堆小事。对这些观测不到的小事线性回归提了三条假设很多人第一次看会觉得莫名其妙独立张三和李四一起来贷款张三批多少不影响李四批多少两个人的误差互不牵连。同分布两个人面对的是同一套规则、同一家银行误差来自同一个概率分布。高斯分布银行可能多给一点也可能少给一点但绝大多数情况下浮动不大只有极少数情况才会出现大幅偏离。第三条假设最值得琢磨。把大量贷款案例的误差画成直方图形状往往是一个中间高、两边低的钟形——这正是高斯分布的样子。通俗地说就是“小偏差常见、大偏差罕见”。这个假设并不要求现实绝对服从它只是给模型一个数学上便于处理的起点让后面的推导能够从一个明确的概率形式出发。提示这三条假设不是自然规律而是建模时主动做出的选择。数据里如果存在极端值扎堆比如某天系统故障导致额度普遍翻倍同分布这条就破了后面算出来的参数也会失真。2.2 从似然函数推到最小二乘有了误差的分布假设接下来的思路很朴素哪一组参数能让“现有这批数据出现”的概率最大那组参数就是我们要的。把每个样本的误差代进去能得到单个样本出现的概率密度把所有样本的概率密度乘起来就是似然函数。似然函数越大说明这组参数越能解释眼前的数据。问题在于连乘在数学上很难求导几十个小数相乘还会迅速趋近于零计算上也很不方便。于是我们取对数。对数把乘法变成加法把难解的问题变成好解的问题而且不改变最大值出现的位置。展开、代入高斯分布的概率密度、化简一串看起来吓人的式子最后会收敛成一个非常简单的东西残差平方和 Σ (真实值 - 预测值)²这就是最小二乘法。名字听着唬人本质就一句话让所有样本的预测偏差平方加起来最小。平方的作用是让正偏差和负偏差都变成正数不至于互相抵消同时让大偏差受到更重的惩罚。用代码表达会更直观。下面这段用正规方程直接解出参数一步到位import numpy as np # 设计矩阵第一列补 1对应偏置项 θ₀ X np.array([[1, 25, 4000], [1, 30, 8000], [1, 28, 5000], [1, 33, 7500], [1, 40, 12000]], dtypefloat) y np.array([20000, 70000, 35000, 50000, 85000], dtypefloat) # 正规方程(XᵀX)⁻¹Xᵀy theta np.linalg.inv(X.T X) X.T y print(theta) # 依次是 θ₀、θ₁(年龄)、θ₂(工资)这段代码里X.T X是在算特征之间的内积矩阵np.linalg.inv求逆最后乘上X.T y得到参数。那一列全为 1 的输入是为了让偏置项有对应的乘数否则 θ₀ 无处落脚。参数解出来之后θ₁ 的正负和大小就说明年龄对额度是拉高还是压低、影响有多强——这正是报告里最想回答的问题。不过正规方程有两个硬伤一是要求矩阵可逆特征之间高度相关时矩阵会接近奇异求逆数值不稳二是求逆的计算量随特征数立方增长特征上千时基本算不动。所以现实中的线性回归很少走这条路。2.3 R² 这个数到底在说什么模型拟合完总得给个评价。最常用的指标是 R²也就是决定系数。它的计算方式是1 减去残差平方和与总平方和的比值。总平方和衡量的是“什么都不学直接用平均值去猜”会产生多大误差残差平方和衡量的是“用了模型之后还剩多大误差”。两者一比就知道模型把误差消掉了多少比例。R² 接近 1说明模型解释了数据里的大部分波动接近 0说明模型和直接猜平均值差不多。它有个好用的地方是量纲无关不管你的标签是元、千克还是摄氏度R² 都是同一个尺度方便横向比较。但 R² 也是最容易被误读的指标。加特征几乎总会让 R² 上升哪怕加进去的是一列随机数所以拿它比较不同特征数量的模型会吃亏这时要看调整后的 R²。另外 R² 可以为负——模型差到不如直接用平均值时就会出现很多人第一次见到负数会以为是算错了。更关键的是R² 高只说明在训练数据上拟合得好不代表在新数据上预测得准。3. 参数是怎么被“逼”出来的梯度下降的下山逻辑正规方程走不通的时候就得换一种思路不追求一步算出答案而是一小步一小步往答案挪。这就是梯度下降。把它想成蒙着眼睛站在山坡上目标是走到谷底。你看不见全局但能感受到脚下哪个方向最陡。于是朝着最陡的下坡方向迈一小步停下来再感受一次再迈一步。每走一步高度都降低一点走得足够多就接近谷底了。这里的“高度”就是目标函数的值“方向”就是梯度“一小步”的大小就是学习率。三个词对应三件事目标函数告诉你现在有多差梯度告诉你往哪改学习率告诉你改多少。3.1 三种梯度下降快和稳的取舍同样是下山每次参考多少信息结果差别很大。批量梯度下降每走一步都把所有样本算一遍。优点是方向准因为用了全部信息路径平滑容易收敛到最优解缺点是慢样本量上万时走一步要等很久。数据量小的时候它是首选数据量大时它就成了瓶颈。随机梯度下降每次只挑一个样本算梯度。速度快得离谱一步只要一次计算但方向抖得厉害路径像喝多了走路不一定每次都朝着收敛方向前进。好处是这种抖动有时能帮它跳出局部低谷坏处是你很难判断它到底收敛了没有。小批量梯度下降折中每次取一小批样本比如 32 个、64 个、128 个。方向比单样本稳速度比全量快还能利用矩阵运算的并行能力。这份小组报告里把它标成“实用”是有道理的——工业界绝大多数深度学习训练用的都是它。用代码看批量版本的更新过程# 批量梯度下降每轮用全部样本算平均梯度 for step in range(n_iters): grad (2 / m) * X.T (X theta - y) # m 为样本数 theta theta - lr * grad # lr 为学习率X theta - y是每个样本的预测偏差X.T 把偏差按特征汇总成梯度除以m是取平均避免样本越多梯度越大。theta - lr * grad就是沿着负梯度方向迈一步。把X换成一个批次的数据这段代码就变成了小批量版本改动只有一行。3.2 学习率和批大小最容易翻车的两个旋钮学习率是梯度下降里影响最大的一个数。设大了每步迈得太远会在谷底两侧来回横跳甚至越跳越高损失值爆掉变成 NaN设小了收敛慢得让人怀疑人生跑一晚上参数几乎没动。经验做法是从小往大试先取 0.001 跑几十轮看损失是否稳定下降不降就再小一个量级下降太慢就适当放大。学习率不是玄学但确实需要试因为它和数据尺度强相关——特征没做归一化时工资动辄上万年龄只有几十梯度会被大数值特征主导学习率怎么调都别扭。所以做线性回归前先标准化特征往往比调学习率更管用。批大小是另一个旋钮。32、64、128 是常见起点但真正决定它的是内存和效率。批太小梯度噪声大训练曲线抖批太大显存吃紧而且每一步的收益递减。有个血泪经验是批大小翻倍时学习率通常也要适当放大否则收敛会明显变慢。3.3 正规方程和梯度下降什么时候选哪个两条路都能求解线性回归选哪条看三个条件。特征数量少、样本量中等、矩阵条件良好时正规方程一步到位不用调学习率不用设迭代轮数结果精确省心。做课程作业、写小组报告里的推导验证它是最合适的工具。特征数量多、样本量大、或者矩阵接近奇异时梯度下降更稳。它能处理正规方程算不动的规模还能通过小批量控制内存占用。代价是要调参要盯着损失曲线判断收敛。还有个常被忽略的点正规方程给出的是解析解梯度下降给出的是数值近似。在特征共线性严重时正规方程的解析解虽然存在但数值上可能极度敏感微小的数据扰动会让参数大幅跳动梯度下降反而因为提前停止表现出一定的稳定性。这也是为什么很多工程实现宁可多跑几轮迭代。4. 名字叫回归却干分类逻辑回归的那层“S”形滤镜线性回归的输出是一个连续的数值可以是两万也可以是八万五。但很多时候我们要的不是一个数而是一个判断这笔贷款批不批这封邮件是不是垃圾邮件这个用户会不会流失逻辑回归就是干这个的。它名字里带“回归”做的却是分类这是初学者最容易困惑的地方之一。4.1 Sigmoid 干的事把任意分数压成概率线性回归算出来的值可以是负无穷到正无穷之间的任何数。拿它直接当概率用是不行的概率必须落在 0 到 1 之间。Sigmoid 函数就是那个转换器公式是1 / (1 e^(-z))其中 z 是线性部分的输出。它的形状是一条平滑的 S 形曲线z 很小的时候输出趋近 0z 很大的时候输出趋近 1z 等于 0 时输出正好是 0.5。任何实数扔进去都能被压进 0 到 1 这个区间。这层压制的意义在于解释性。输出 0.8可以理解成“在这组特征下模型认为属于正类的可能性是 80%”。它给出的是概率估计不是一个生硬的标签所以还能通过调整阈值来控制判断的松紧——风控场景里宁可错杀阈值就调低一点推荐场景里宁可少推阈值就调高一点。训练逻辑回归用的仍然是似然函数那套思路只不过把高斯分布换成了伯努利分布因为标签只有 0 和 1。取对数、求导之后会得到一个很漂亮的梯度形式和线性回归长得几乎一样区别只在于预测值多套了一层 Sigmoid。有意思的是因为目标是最大化似然更新方向变成了梯度上升工程实现里习惯在前面加个负号转成梯度下降两者是同一件事的两种写法。4.2 决策边界可以弯但模型仍然是线性的逻辑回归的决策边界指的是模型把正类和负类分开的那条线。默认情况下阈值取 0.5也就是 z 等于 0 的位置这条线在原始特征空间里是一条直线。但如果特征之间不是线性可分的比如年龄和工资的组合呈现出环形的分布直接画一条直线怎么都分不开。这时候可以手工构造多项式特征比如把 x₁ 平方、把 x₁ 和 x₂ 相乘再喂给模型。z 里出现了二次项决策边界就变成了曲线、圆或者椭圆。这里有个常见的误解边界弯了是不是模型就变成非线性的了不是。模型对参数依然是线性的弯的只是特征空间里的分界面。这也是为什么逻辑回归被归类为线性分类器——它的“线性”说的是参数层面不是边界的形状。4.3 softmax 与多分类二分类只是一个起点。现实里更多是多个类别这笔贷款该分成低风险、中风险、高风险三档这封邮件该分成正常、广告、诈骗三类。softmax 是 Sigmoid 在多分类上的推广。它先对每个类别的得分取指数再除以所有类别指数得分的和让所有类别的输出加起来等于 1。取指数是为了拉开差距得分高的类别被放大得更明显同时保证所有输出都是正数。实际使用中有个细节值得注意softmax 配的损失函数通常是交叉熵而不是简单的平方误差。原因是交叉熵的梯度形式更干净模型错得越离谱梯度越大修正越猛平方误差配 softmax 会出现梯度消失学得很慢。这个组合不是拍脑袋定的是从最大似然推出来的结果。5. 易混概念排雷四个看着像、用起来完全不同的东西学到这里公式差不多都见过了但真正让人在讨论中卡壳的往往是几个名字相似、位置相邻的概念。报告里被问到最多的也是这几组。5.1 线性回归和逻辑回归只差一个字易混点两个名字都带“回归”公式里都有特征加权求和那部分代码实现也长得像。为什么混线性回归和逻辑回归确实共享同一个线性组合θ₀ θ₁x₁ θ₂x₂区别只在后面接什么——一个直接输出一个套 Sigmoid。很多人看到这里就以为它们是同一类东西的两个变体。怎么区分看输出和目标。线性回归的输出是连续值损失函数是最小二乘评价指标看 R² 或均方误差逻辑回归的输出是 0 到 1 之间的概率损失函数是交叉熵评价指标看准确率、召回率、AUC。更本质的区别在误差假设一个假设误差服从高斯分布一个假设标签服从伯努利分布。名字里的“回归”只是历史遗留逻辑回归从骨子里就是分类器。5.2 最小二乘法和梯度下降是竞争对手易混点两者都出现在“求解参数”这一步教材里经常前后脚出现看着像两种可替换的方案。为什么混它们确实都能求出线性回归的参数而且在凸问题下会收敛到同一个答案所以很容易被当成同层级的方法来比较。怎么区分最小二乘是目标梯度下降是手段。最小二乘定义的是“什么样的参数算好”——残差平方和最小梯度下降回答的是“怎么找到这组参数”——一步步迭代逼近。最小二乘也可以用梯度下降来解正规方程只是它在特定条件下的解析解法。把目标和手段当成并列关系讨论时就会绕不出来。5.3 特征、参数、超参数混着叫易混点三个词都跟“数”有关口语里经常被笼统地说成“模型的数”。为什么混特征和参数都出现在公式里超参数又经常和参数一起被调边界不清时就会互相代称。怎么区分特征是输入是数据里本来就有的列比如年龄、工资参数是模型学出来的比如 θ₁、θ₂训练前不存在训练后才确定超参数是人定的比如学习率、批大小、迭代轮数模型自己不会去改。判断方法很简单这个数是不是从数据里算出来的是就是参数是不是人手工设的是就是超参数是不是原始表格里的列是就是特征。5.4 拟合得好和预测得准是一回事吗易混点训练集上 R² 很高就以为模型很成功。为什么混训练时的评估指标就在眼前数字好看很容易产生“问题解决了”的错觉。怎么区分拟合好说的是在见过的数据上偏差小预测准说的是在没见过的数据上偏差小。这两件事经常背离。特征加得越多训练集 R² 越高但模型可能把噪声也学进去了换一批数据就崩这就是过拟合。稳妥的做法是留出一部分数据不参与训练专门用来验证或者做交叉验证把数据轮换着切。看到训练集指标明显高于验证集就该警惕了。6. 什么时候该请它上场一份边界清单和一次翻车教训线性回归和逻辑回归都不是万能工具但它们便宜、可解释、训练快在合适的场景里性价比极高。6.1 适合与不适合的场景场景特征适合用不适合用关系形态输入和输出大致呈线性或接近线性明显非线性、有复杂交互作用数据规模中小规模特征数在几十到几百特征上百万、样本上亿可解释性要求需要说清每个特征的影响方向和力度只关心预测结果不关心原因数据质量特征已清洗、无严重共线性缺失严重、异常值扎堆任务类型连续值预测、二分类图像、语音、序列建模这份小组报告里的贷款例子就落在左上角那一格两个特征、几十条样本、需要解释年龄和工资各自的影响线性回归是最贴合的选择。如果硬要拿它去预测一个明显受季节、政策、突发事件共同作用的复杂指标模型再调也补不回结构上的错配。值得一提的是即使在线性回归明显不够用的场景里它也常常作为基线先跑一遍。先知道简单模型能做到什么程度再去上复杂模型才判断得出复杂度到底换来了多少提升。很多团队跳过这一步最后说不清模型是真的强还是只是数据本身就好预测。6.2 一次把“相关”当“因果”的翻车有个模拟项目 X 想分析影响某指标的关键因素。团队把能拿到的字段全塞进线性回归跑出来 R² 0.87某个特征的系数特别大于是报告里写下“该因素是最主要驱动因素”。后来换了批数据这个系数直接翻号。问题出在两处。一是特征之间高度相关模型无法区分谁在起作用系数被分摊得极不稳定微小的数据扰动就会让它翻转。二是把统计上的相关直接读成了因果——两个变量一起变动可能只是都被第三个变量带着走。系数大只说明在控制其他特征后它对预测贡献大不说明改变它就能改变结果。从那以后我每次做线性回归都会强制走一遍三件事先看特征之间的相关系数矩阵把明显共线的删掉或者合并再看系数的正负号是否符合常识不符合就去查数据而不是急着下结论最后一定留一份没参与训练的数据做验证。这份小组报告把推导链条从误差假设一路铺到梯度下降和逻辑回归正是为了让人在动手之前先明白每一步在假设什么——模型给出的是基于假设的估计不是事实本身。需要完整推导和讲解材料的话这份线性回归算法小组报告 PPT 已经把这条线整理好了拿去对着公式再走一遍比只看结论扎实得多。希望帮到你。本文还有配套的精品资源点击获取